[논문 리뷰] 'In-Between' Uncertainty in Bayesian Neural Networks

Andrew Y. K. Foong, Yingzhen Li외 2명|arXiv (Cornell University)|2019. 06. 27.

Gaussian Processes and Bayesian Inference참고 문헌 22인용 수 30

한 줄 요약

이 논문은 베이지안 신경망에 대한 평균장 변분 추론(MFVI)의 핵심적 한계를 규명한다: 서로 분리된 데이터 클러스터 사이의 영역—즉, '중간부' 불확실성—에서 잘 校정된 불확실성 추정을 하지 못한다는 점이다. 반대로, 선형화된 라플라스 근사법은 이러한 분포 외부 영역에서 MFVI보다 훨씬 더 나은 불확실성 校정 성능을 보이며, 특히 소규모 네트워크에서는 그러한 성능이 두드러진다. 이는 표준 벤치마크에서의 강력한 성능 유지와도 충족된다.

ABSTRACT

We describe a limitation in the expressiveness of the predictive uncertainty estimate given by mean-field variational inference (MFVI), a popular approximate inference method for Bayesian neural networks. In particular, MFVI fails to give calibrated uncertainty estimates in between separated regions of observations. This can lead to catastrophically overconfident predictions when testing on out-of-distribution data. Avoiding such overconfidence is critical for active learning, Bayesian optimisation and out-of-distribution robustness. We instead find that a classical technique, the linearised Laplace approximation, can handle 'in-between' uncertainty much better for small network architectures.

연구 동기 및 목표

• 베이지안 신경망에서 평균장 변분 추론(MFVI)이 신뢰할 수 있는 불확실성 추정을 제공하는 데에 겪는 한계를 조사하는 것.
• 다양한 추론 방법이 서로 분리된 데이터 클러스터 사이의 영역—즉, '중간부' 불확실성—에서 불확실성을 어떻게 다루는지 평가하는 것.
• MFVI가 이러한 영역에서 치명적인 과신임을 보이며, 이는 주도적 학습과 견고한 의사결정에 활용하는 데에 악영향을 미친다는 것을 입증하는 것.
• 특히 소규모 네트워크 아키텍처에서 선형화된 라플라스 근사법이 중간부 불확실성을 더 잘 포착한다는 것을 보여주는 것.
• 기존 일반화 작업과는 별개로 중간부 불확실성에만 집중하는 성능 평가를 가능하게 하는 수정된 UCI 벤치마크를 제안하는 것.

제안 방법

• 균일한 부분표본 추출 대신, 테스트 세트를 두 개의 분리된 데이터 클러스터 사이의 중간 영역에서 추출하는 '갭 스플릿(gap splits)'을 사용한 새로운 평가 프로토콜을 제안한다.
• 베이지안 신경망에서의 불확실성 추정에 대해 MFVI(평균장 및 전체공분산 변형)와 선형화된 라플라스 근사법(MLA), 스 tochastic Laplace(SLA)를 비교한다.
• 라플라스 근사법을 사용해 MAP 추정치 중심의 가우시안으로 사후분포를 근사하며, 이 때 공분산은 로그사후분포의 음의 역행렬 헤시안에서 유도한다.
• 헤시안을 효율적으로 계산하기 위해 가우스-뉴턴 근사법을 사용하여 일阶 도함수만을 활용하며, 이는 양의 준정의성을 보장한다.
• 주요 평가 지표로는 보류된 로그우도(log-likelihood)를 사용하며, 이는 정확성 부족과 과신 모두에 대해 페널티를 가한다.
• 에너지 및 해군 데이터셋에 특별히 초점을 맞춰 표준 UCI 회귀 데이터셋에 방법을 적용하며, 여기서 MFVI는 갭 스플릿에서 치명적인 실패를 보인다.

실험 결과

연구 질문

• RQ1 평균장 변분 추론(MFVI)은 훈련 데이터의 서로 분리된 클러스터 사이의 영역에서 잘 校정된 불확실성 추정치를 제공하는가?
• RQ2 MFVI의 '중간부' 불확실성에 대한 성능은 선형화된 라플라스 근사법과 비교해 어떻게 다른가?
• RQ3 기존의 UCI 벤치마크는 클러스터 간 영역에서의 불확실성 추정 능력을 평가하는 데에 충분한가?
• RQ4 MFVI가 이러한 중간부 영역에서 불확실성을 모델링하지 못하는 이유는 무엇이며, 평균장 근사의 어떤 구조적 한계가 이를 초래하는가?
• RQ5 선형화된 라플라스 근사법은 베이지안 신경망에서의 불확실성 추정에 있어 MFVI의 타당하고 더 견고한 대안이 될 수 있는가?

주요 결과

• MFVI는 표준 UCI 벤치마크에서는 잘 작동하지만, 갭 스플릿에서는 치명적인 실패를 보이며, 데이터 클러스터 사이의 영역에서 과신된 예측을 보인다.
• 선형화된 라플라스 근사법(MLA)은 갭 스플릿에서 MFVI를 크게 능가하며, 상당히 높은 로그우도 점수를 기록한다—예를 들어, 1HL tanh를 사용한 해군 데이터셋에서 6.40±0.06을 기록한 반면, MFVI는 -2.83±0.01을 기록한다.
• 표준 UCI 스플릿에서는 MFVI와 MLA가 유사한 성능을 보이며, 이는 표준 벤치마크가 MFVI의 중간부 불확실성 실패를 드러내지 못한다는 것을 시사한다.
• MFVI의 실패는 최적화나 아키텍처의 열악함 때문이 아니라, 데이터 갭에서 불확실성을 모델링하는 데 필요한 매개변수 간 의존성을 포착하지 못하는 평균장 근사의 한계에서 기인한다.
• 전체공분산 VI(FCVI)는 MFVI보다 갭 스플릿에서 더 나은 성능을 보이며, 여전히 MLA에 비해 열등하여, 유연한 변분 가족조차도 중간부 불확실성을 다루는 데 어려움을 겪는다는 점을 시사한다.
• 선형화된 라플라스 근사법은 중간부 영역에서 잘 校정된 불확실성 추정치를 제공하므로, 주도적 학습과 분포 외부에 대한 견고성에 있어 더 신뢰할 수 있는 선택이다.