[논문 리뷰] Representing inferential uncertainty in deep neural networks through sampling

Patrick McClure, Nikolaus Kriegeskorte|arXiv (Cornell University)|2017. 04. 24.

Adversarial Robustness in Machine Learning인용 수 12

한 줄 요약

이 논문은 표준 DNN보다 더 정확하게 추론 불확실성을 표현하기 위해 복합 베르누이 드롭아웃과 가우시안 드롭컨넥트를 결합한 베이지안 딥 네ural 네트워크를 제안한다. 스팘이크-앤드-슬랩 유사 변분 추론을 통해 가중치를 샘플링함으로써, 이 방법은 MNIST와 CIFAR-10에서 높은 분류 정확도를 달성하면서도 불확실성을 견고하게 모델링한다. 표준 DNN 및 단일 유닛 또는 가중치 샘플링 방법보다 뛰어난 성능을 보인다.

ABSTRACT

As deep neural networks (DNNs) are applied to increasingly challenging problems, they will need to be able to represent their own uncertainty. Modelling uncertainty is one of the key features of Bayesian methods. Bayesian DNNs that use dropout-based variational distributions and scale to complex tasks have recently been proposed. We evaluate Bayesian DNNs trained with Bernoulli or Gaussian multiplicative masking of either the units (dropout) or the weights (dropconnect). We compare these Bayesian DNNs ability to represent their uncertainty about their outputs through sampling during inference. We tested the calibration of these Bayesian fully connected and convolutional DNNs on two visual inference tasks (MNIST and CIFAR-10). By adding different levels of Gaussian noise to the test images, we assessed how these DNNs represented their uncertainty about regions of input space not covered by the training set. These Bayesian DNNs represented their own uncertainty more accurately than traditional DNNs with a softmax output. We find that sampling of weights, whether Gaussian or Bernoulli, led to more accurate representation of uncertainty compared to sampling of units. However, sampling units using either Gaussian or Bernoulli dropout led to increased convolutional neural network (CNN) classification accuracy. Based on these findings we use both Bernoulli dropout and Gaussian dropconnect concurrently, which approximates the use of a spike-and-slab variational distribution. We find that networks with spike-and-slab sampling combine the advantages of the other methods: they classify with high accuracy and robustly represent the uncertainty of their classifications for all tested architectures.

연구 동기 및 목표

• 실제 응용 환경에서 신뢰할 수 있는 신뢰도 추정이 필수적인 깊이 신경망의 불확실성 표현을 향상시키기 위해.
• 다양한 샘플링 전략(유닛 드롭아웃 대비 가중치 드롭컨넥트)이 DNN의 불확실성 校정에 미치는 영향을 평가하기 위해.
• 베르누이 및 가우시안 샘플링 메커니즘의 조합이 정확도와 불확실성 추정 모두를 향상시킬 수 있는지 조사하기 위해.
• 시험 입력에 노이즈를 첨가하여 분포 이탈 상황에서의 불확실성 표현의 견고성 평가하기 위해.
• 복잡한 시각 작업에 스케일링 가능한 실용적인 베이지안 딥 러닝 접근법 개발하기 위해.

제안 방법

• 추론 중에 네트워크 유닛을 샘플링하기 위해 베르누이 드롭아웃을 사용하는 변분 추론을 적용한다.
• 가중치를 샘플링하기 위해 가우시안 드롭컨넥트를 적용하여 확률적 가중치 업데이트를 가능하게 한다.
• 베르누이 드롭아웃과 가우시안 드롭컨넥트를 결합하여 스파이크-앤드-슬랩 유사 변분 분포를 근사한다.
• 전체 연결 및 컨볼루션 베이지안 네트워크를 확률적 경사 하강법를 사용해 MNIST와 CIFAR-10에서 훈련하며, 순전파 과정에서 샘플링을 수행한다.
• 시험 입력에서 다양한 노이즈 수준에 대해 네트워크 출력의 몬테카를로 샘플링을 통해 불확실성 평가한다.
• 손상된 시험 이미지에서 예측 분산과 예측 오차를 비교하여 불확실성의 校정을 수행한다.

실험 결과

연구 질문

• RQ1 DNN에서 불확실성을 표현할 때, 가중치 샘플링(DropConnect)이 유닛 샘플링(Dropout)보다 어떻게 다를까?
• RQ2 베르누이 및 가우시안 샘플링 메커니즘의 조합이 정확도와 불확실성 추정 모두를 향상시킬 수 있는가?
• RQ3 시험 입력에 가우시안 노이즈를 첨가했을 때, 베이지안 DNN이 분포 이탈 입력에서 불확실성을 얼마나 잘 표현하는가?
• RQ4 스파이크-앤드-슬랩 유사 샘플링 전략은 개별 샘플링 방법보다 더 나은 校정을 이끌어내는가?
• RQ5 다양한 아키텍처(전체 연결 대비 컨볼루션)가 제안된 불확실성 표현 프레임워크 하에서 어떻게 성능을 내는가?

주요 결과

• 가우시안 드롭컨넥트를 사용해 가중치를 샘플링함으로써, 베르누이 드롭아웃으로 유닛을 샘플링하는 것보다 더 정확한 불확실성 표현을 달성했다.
• 베르누이 또는 가우시안 드롭아웃을 사용해 유닛을 샘플링함으로써, CIFAR-10과 MNIST에서 분류 정확도가 향상되었다.
• 베르누이 드롭아웃과 가우시안 드롭컨넥트를 병합한 사용은 각각의 방법을 별도로 사용하는 것보다 더 높은 분류 정확도를 달성했다.
• 스파이크-앤드-슬랩 유사 샘플링 전략은 모든 테스트 아키텍처와 데이터셋에서 불확실성을 견고하게 표현했다.
• 결합 샘플링을 사용한 베이지안 DNN은 분포 이탈 상황에서 소프트맥스 출력을 사용하는 표준 DNN보다 불확실성 校정에서 뛰어난 성능을 보였다.
• 시험 입력에 가우시안 노이즈를 첨가한 결과, 제안된 방법은 표준 DNN와 달리 잘 校정된 불확실성 추정을 유지했다.