[논문 리뷰] Uncertainty in Neural Networks: Bayesian Ensembling.

Tim Pearce, Mohamed Zaki외 2명|arXiv (Cornell University)|2018. 10. 12.

Gaussian Processes and Bayesian Inference참고 문헌 28인용 수 64

한 줄 요약

이 논문은 사전 분포에서 추출된 값으로 모델 파라미터를 정규화함으로써 베이지안 불확실성 정량화를 달성하는 수정된 신경망 앙상블 방법을 제안한다. 이 방법은 전통적인 베이지안 신경망의 대안으로서 확장 가능하고 실용적인 접근을 제공하며, 성능을 저하시키지 않은 채 잘 校정된 불확실성 추정을 가능하게 한다.

ABSTRACT

Understanding the uncertainty of a neural network's (NN) predictions is essential for many applications. The Bayesian framework provides a principled approach to this, however applying it to NNs is challenging due to the large number of parameters and data. Ensembling NNs provides a practical and scalable method for uncertainty quantification. Its drawback is that its justification is heuristic rather than Bayesian. In this work we propose one modification to the usual ensembling process, that does result in Bayesian behaviour: regularising parameters about values drawn from a prior distribution. Hence, we present an easily implementable, scalable technique for performing approximate Bayesian inference in NNs.

연구 동기 및 목표

• 실제 응용에서 신뢰할 수 있는 의사결정을 위해 필수적인 딥 뉴럴 네트워크의 불확실성 정량화 문제를 해결하기 위해.
• 신경망에서 히우리스틱 앙상블과 원칙적인 베이지안 추론 사이의 격차를 메우기 위해.
• 큰 신경망에서 베이지안 추론을 근사화할 수 있는 확장 가능하고 쉽게 구현할 수 있는 방법을 개발하기 위해.
• 베이지안 프레임워크 내에서 앙상블를 정당화하는 정규화 기반의 앙상블 기법을 제공하기 위해.

제안 방법

• 표준 앙상블을 수정하여, 각 모델의 파라미터가 사전 분포에서 추출된 값으로 향하도록 정규화 항을 도입한다.
• 각 앙상블 내 모델는 독립적으로 추출된 사전 표본으로부터 파라미터가 멀어지지 않도록 가중치 감소 손실을 사용해 훈련된다.
• 정규화는 각 모델별로 독립적으로 적용되어, 각 네트워크가 독립적이지만 사전 지식에 영향을 받는 표현을 학습하도록 보장한다.
• 최종 예측은 앙상블 내 예측의 평균을 취함으로써 도출되며, 불확실성은 예측의 분산으로 추정된다.
• 이 방법은 표준 딥 러닝 프레임워크와 호환되며, 최소한의 아키텍처 변경으로도 확장 가능하다.
• 이 방법은 최적화 과정에 사전 지식을 통합함으로써 히우리스틱 앙상블을 베이지안 근사로 효과적으로 전환한다.

실험 결과

연구 질문

• RQ1 훈련 과정에 단순한 수정을 가함으로써 앙상블를 베이지안 프레임워크 내에서 공식적으로 정당화할 수 있는가?
• RQ2 신경망 파라미터를 사전 표본으로 정규화함으로써 예측 정확도를 떨어뜨리지 않고도 불확실성 보정을 향상시킬 수 있는가?
• RQ3 이 방법은 최소한의 계산 오버헤드로 큰 신경망에서 잘 校정된 불확실성 추정을 달성할 수 있는가?
• RQ4 불확실성 품질과 확장 가능성 측면에서, 이 방법은 표준 앙상블 및 완전한 베이지안 추론과 비교해 어떻게 성능을 내는가?

주요 결과

• 제안된 방법은 파라미터를 사전 표본으로 명시적으로 정규화함으로써 앙상블에서 베이지안 행동을 달성하며, 앙상블 예측에 대한 원칙적인 정당성을 제공한다.
• 이 방법은 잘 校정된 불확실성 추정을 도출하며, 예측 분산이 진짜 예측 오차를 신뢰성 있게 반영한다.
• 이 방법은 확장 가능하고 실용적이며, 표준 훈련 파ip라인에 대한 수정이 거의 필요로 하지 않는다.
• 실험 결과는 이 방법이 특히 분포 외부 설정에서 표준 앙상블보다 더 신뢰할 수 있는 불확실성 추정을 제공한다는 것을 보여준다.