[논문 리뷰] Variational Inference to Measure Model Uncertainty in Deep Neural Networks

Konstantin Posch, Jan Steinbrener외 1명|arXiv (Cornell University)|2019. 02. 26.

Gaussian Processes and Bayesian Inference참고 문헌 21인용 수 12

한 줄 요약

이 논문은 깊이 있는 신경망에서 모델 불확실성을 정량화하기 위해 변분 추론 기반 접근법을 제안한다. 이는 각 레이어의 파라미터 분산을 제곱된 평균 가중치에 비례하도록 학습함으로써, 추가 파라미터를 최소화하면서 베이지안 딥 러닝을 가능하게 한다. 이 방법은 표준 네트워크 대비 MNIST에서 테스트 오차를 15% 감소시키며, 신뢰도 있는 예측 신뢰구간을 제공하고 잘못된 예측을 확신 있게 식별할 수 있다.

ABSTRACT

We present a novel approach for training deep neural networks in a Bayesian way. Classical, i.e. non-Bayesian, deep learning has two major drawbacks both originating from the fact that network parameters are considered to be deterministic. First, model uncertainty cannot be measured thus limiting the use of deep learning in many fields of application and second, training of deep neural networks is often hampered by overfitting. The proposed approach uses variational inference to approximate the intractable a posteriori distribution on basis of a normal prior. The variational density is designed in such a way that the a posteriori uncertainty of the network parameters is represented per network layer and depending on the estimated parameter expectation values. This way, only a few additional parameters need to be optimized compared to a non-Bayesian network. We apply this Bayesian approach to train and test the LeNet architecture on the MNIST dataset. Compared to classical deep learning, the test error is reduced by 15%. In addition, the trained model contains information about the parameter uncertainty in each layer. We show that this information can be used to calculate credible intervals for the prediction and to optimize the network architecture for a given training data set.

연구 동기 및 목표

• 기본적인 딥 러닝에서 파라미터를 결정론적 값으로 간주하는 바탕으로 모델 불확실성 추정의 부족을 해결하기 위해.
• 작은 훈련 데이터셋에서 과적합을 줄이기 위해 베이지안 프레임워크를 도입함으로써 깊이 있는 네트워크의 과적합을 감소시키기 위해.
• 유의미한 계산 오버헤드 없이 예측의 불확실성을 신뢰구간을 통해 실현 가능한 방식으로 정량화하기 위해.
• 레이어별 파라미터 불확실성을 활용하여 데이터 기반의 네트워크 아키텍처 최적화를 지원하기 위해.
• 표준 훈련에 비해 몇 개의 추가 파라미터만 필요로 하는 확장 가능한 베이지안 딥 러닝 접근법을 제공하기 위해.

제안 방법

• 이 방법은 네트워크 가중치에 대한 비가역적인 사후분포를 정규 prior 를 사용하여 근사하기 위해 변분 추론을 사용한다.
• 변분 사후분포는 각 레이어의 가중치 및 편향의 기대값의 제곱에 비례하는 레이어별 분산으로 매개변수화된다.
• 각 레이어당 하나의 스케일링 인자만을 사용하여 가중치 및 편향 분포의 분산을 제어함으로써 추가 파라미터를 최소화한다.
• 추론 과정에서 샘플링된 가중치를 사용해 다중 회의 전방 전파를 수행함으로써 예측 불확실성을 추정하고 95% 신뢰구간을 구성한다.
• 모델은 경사 하강법을 사용해 엔드 투 엔드로 훈련되며, 네트워크 가중치와 레이어별 분산 스케일링 인자를 동시에 최적화한다.
• 이 접근법은 MNIST 이미지 분류를 위한 LeNet 아키텍처에서 평가되었으며, 베이지안 및 비베이지안 변종 간의 비교를 수행했다.

실험 결과

연구 질문

• RQ1 최소한의 계산 비용으로 모델 및 예측 불확실성을 정량화할 수 있는 베이지안 딥 러닝 접근법을 설계할 수 있는가?
• RQ2 제안된 레이어별 분산 매개변수화 방식은 소규모 데이터 환경에서 일반화 성능과 과적합에 어떤 영향을 미치는가?
• RQ3 불확실성 추정치는 얼마나 정확하게 잘못된 예측을 확신 있게 식별할 수 있으며, 기존 네트워크의 신뢰도 점수와 비교해 볼 때 어떤가?
• RQ4 불확실성 정보는 네트워크 아키텍처 설계를 이끌거나 모델의 강건성을 향상시키는 데 활용될 수 있는가?
• RQ5 베이지안 모델에서 유도된 신뢰구간은 테스트 데이터의 실제 예측 신뢰도와 어떻게 비교되는가?

주요 결과

• 베이지안 모델은 표준 비베이지안 LeNet 대비 MNIST 데이터셋에서 테스트 오차를 15% 감소시켰다.
• 네트워크는 매우 확신했지만 잘못된 것으로 밝혀진 14장의 이미지를 식별할 수 있었으며, 이는 결정론적 예측의 과도한 확신의 위험성을 드러냈다.
• 잘못 분류된 이미지의 94%에 대해 네트워크는 불확실했으며(95% 신뢰구간 외부), 이는 불확실성 추정치가 신뢰할 수 없는 예측을 식별하는 데 유용할 수 있음을 시사한다.
• 다중 전방 전파를 통해 샘플링된 가중치를 사용해 예측에 대해 해석 가능한 신뢰구간을 성공적으로 생성했다.
• 과적합에 대한 저항력이 향상되어, 특히 데이터가 적은 환경에서 유용함을 입증했다.
• 훈련 및 추론 비용의 유의미한 증가 없이 실용적인 불확실성 정량화를 가능하게 했다.