[논문 리뷰] Fixing Variational Bayes: Deterministic Variational Inference for Bayesian Neural Networks

Anqi Wu, Sebastian Nowozin외 4명|arXiv (Cornell University)|2018. 10. 09.

Gaussian Processes and Bayesian Inference참고 문헌 19인용 수 10

한 줄 요약

이 논문은 새로운 모멘트 근사법을 통해 기울기 분산을 제거하고 계층적 사전분포 및 실증 베이즈 절차를 통해 사전분포 분산의 자동 선택을 실현함으로써 베이지안 신경망을 위한 강건하고 결정적인 변분 추론 방법을 제안한다. 이로 인해 최소한의 하이퍼파라미터 튜닝으로 이질분산 회귀에서 뛰어난 예측 성능을 달성한다.

ABSTRACT

Bayesian neural networks (BNNs) hold great promise as a flexible and principled solution to deal with uncertainty when learning from finite data. Among approaches to realize probabilistic inference in deep neural networks, variational Bayes (VB) is theoretically grounded, generally applicable, and computationally efficient. With wide recognition of potential advantages, why is it that variational Bayes has seen very limited practical use for BNNs in real applications? We argue that variational inference in neural networks is fragile: successful implementations require careful initialization and tuning of prior variances, as well as controlling the variance of Monte Carlo gradient estimates. We provide two innovations that aim to turn VB into a robust inference tool for Bayesian neural networks: first, we introduce a novel deterministic method to approximate moments in neural networks, eliminating gradient variance; second, we introduce a hierarchical prior for parameters and a novel Empirical Bayes procedure for automatically selecting prior variances. Combining these two innovations, the resulting method is highly efficient and robust. On the application of heteroscedastic regression we demonstrate good predictive performance over alternative approaches.

연구 동기 및 목표

• 초기화 및 사전분포 분산 튜닝에 민감한 변분 베이즈의 취약성 문제를 해결하기 위해.
• 변분 추론 중에 스위치 기울기 추정에서 기울기 분산을 제거하기 위해.
• 계층적 사전분포와 실증 베이즈 절차를 통해 사전분포 분산 선택을 자동화하기 위해.
• 실제 응용에 적합한 실용적이고 효율적이며 강건한 추론 프레임워크를 개발하기 위해.

제안 방법

• 신경망의 사후 모멘트를 근사하기 위한 결정적 방법을 도입하여 몬테카를로 샘플링이 필요 없게 하고, 결과적으로 기울기 분산을 제거한다.
• 네트워크 가중치에 대해 계층적 사전분포 구조를 도입하여 실증 베이즈를 통해 사전분포 분산의 자동 校정을 가능하게 한다.
• 데이터로부터 최적의 사전분포 분산을 학습하기 위해 실증 베이즈 절차를 활용하여 수동 튜닝에 대한 의존도를 감소시킨다.
• 결정적 모멘트 근사와 계층적 사전분포를 조합하여 안정적이고 효율적인 변분 추론 알고리즘을 구현한다.
• 특히 이질분산 회귀에 적합한 회귀 과제를 위한 베이지안 신경망에 이 방법을 적용한다.

실험 결과

연구 질문

• RQ1 베이지안 신경망에서의 변분 추론이 초기화 및 사전분포 분산 설정에 대해 강건하게 만들 수 있는가?
• RQ2 유연성을 유지하면서도 스위치 기울기 추정에서 기울기 분산을 제거할 수 있는가?
• RQ3 원칙적인 계층적 사전분포 구조를 통해 데이터로부터 사전분포 분산을 자동으로 선택할 수 있는가?
• RQ4 제안된 방법이 실제 응용의 회귀 과제에서 경쟁 가능한 예측 성능을 달성하는가?

주요 결과

• 제안된 방법은 이질분산 회귀 과제에서 뛰어난 예측 성능을 달성하며, 다른 접근법들을 능가한다.
• 이 방법은 초기화 및 사전분포 분산 설정에 대해 강건하여 광범위한 하이퍼파라미터 튜닝이 필요 없음을 입증한다.
• 결정적 모멘트 근사 덕분에 기울기 분산이 효과적으로 제거되어 학습 안정성이 향상된다.
• 사전분포 분산 선택을 위한 실증 베이즈 절차는 다양한 데이터셋에서 일관되고 신뢰할 수 있는 성능을 제공한다.