[논문 리뷰] Deterministic Variational Inference for Robust Bayesian Neural Networks

Anqi Wu, Sebastian Nowozin외 4명|arXiv (Cornell University)|2018. 10. 09.

Adversarial Robustness in Machine Learning인용 수 66

한 줄 요약

이 논문은 확률적 몬테카를로 샘플링에 의존하지 않고 기울기 분산을 제거하며, 경험 베이즈를 통해 사전 분포를 자동으로 선택하는 강력하고 효율적인 베이지안 신경망을 위한 결정론적 변분 추론(DVI)을 소개한다. DVI는 이질분산 회귀에서 특히 뛰어난 예측 성능을 보이며, UCI 데이터셋 전반에 걸쳐 테스트 로그우도에서 일관된 향상을 이룬다.

ABSTRACT

Bayesian neural networks (BNNs) hold great promise as a flexible and principled solution to deal with uncertainty when learning from finite data. Among approaches to realize probabilistic inference in deep neural networks, variational Bayes (VB) is theoretically grounded, generally applicable, and computationally efficient. With wide recognition of potential advantages, why is it that variational Bayes has seen very limited practical use for BNNs in real applications? We argue that variational inference in neural networks is fragile: successful implementations require careful initialization and tuning of prior variances, as well as controlling the variance of Monte Carlo gradient estimates. We provide two innovations that aim to turn VB into a robust inference tool for Bayesian neural networks: first, we introduce a novel deterministic method to approximate moments in neural networks, eliminating gradient variance; second, we introduce a hierarchical prior for parameters and a novel Empirical Bayes procedure for automatically selecting prior variances. Combining these two innovations, the resulting method is highly efficient and robust. On the application of heteroscedastic regression we demonstrate good predictive performance over alternative approaches.

연구 동기 및 목표

• 고기울기 분산과 사전 분포 선택에 대한 민감성으로 인해 변분 추론이 베이지안 신경망에서 취약해지는 문제를 해결하기 위해.
• 확률적 샘플링의 분산을 제거하기 위해 ReLU 및 헤비사이드 네트워크를 통해 불확실한 활성화를 전파하기 위한 결정론적 방법을 개발하기 위해.
• 계층적 사전 분포를 사용하여 데이터 기반으로 가중치 사전 분산을 자동으로 선택하는 경험 베이즈 절차를 도입하기 위해.
• 통합된 방법이 기존의 확률적 변분 추론 접근법보다 더 나은 예측 성능와 강건성을 달성하는지 입증하기 위해.
• 사전 분포 선택을 자동화하고 학습을 안정화시켜 전문가의 조정 없이도 실용적인 베이지안 신경망 구현을 가능하게 하기 위해.

제안 방법

• 불확실한 가중치를 가진 신경망에서 기대 활성화를 계산하기 위한 결정론적 근사법을 제안하여, 확률적 몬테카를로 샘플링을 닫힌 형태의 기대값으로 대체한다.
• 가우시안 가중치 입력 하에서 ReLU 및 헤비사이드 활성화의 일차 및 이차 모멘트에 대한 정확한 해석적 표현을 유도하여 기울기 전파 과정에서 분산이 없는 방식을 가능하게 한다.
• 가중치 분산에 대한 역감마 하이퍼사전 분포를 포함하는 계층적 사전 분포 구조를 도입하여 경험 베이즈를 통해 데이터 기반으로 사전 척도를 추정할 수 있도록 한다.
• 공액 사전 분포를 사용하여 사전 분산에 대한 닫힌 형태의 사후 업데이트를 도출하여 학습 중 자동 조정이 가능하도록 한다.
• 동질분산 및 이질분산 회귀 모델에 모두 적용하며, 각 선형 층에 대해 별도의 분산 파라미터를 사용한다.
• 계산 복잡도를 줄이면서도 표현력을 유지하기 위해 가중치에 대해 분해된 가우시안 변분 가족을 사용한다.

실험 결과

연구 질문

• RQ1 확률적 몬테카를로 샘플링에 의존하지 않고도, 베이지안 신경망의 변분 추론에서 기울기 분산을 제거할 수 있는가?
• RQ2 수동 조정 없이 신경망 가중치에 대한 최적의 사전 분산을 자동으로 학습할 수 있는가?
• RQ3 활성화 모멘트에 대한 결정론적 근사가 베이지안 신경망의 학습을 더 안정적이고 정확하게 만들 수 있는가?
• RQ4 예측 성능와 수렴 특성 측면에서 제안된 방법이 확률적 변분 추론보다 어떻게 비교되는가?
• RQ5 사전 분포 선택을 위한 경험 베이즈 접근법이 다양한 회귀 과제에서 수동 조정보다 일관되게 뛰어난 성능을 보일 수 있는가?

주요 결과

• DVI는 S=10 샘플을 사용하는 확률적 변분 추론(MCVI)보다 일관되게 승리하며, 여러 UCI 데이터셋에서 최대 0.35 nats per data point 높은 테스트 로그우도를 달성한다.
• 대각선-DVI 변형(dDVI)은 대부분의 성능 향상을 유지하면서도 정확도를 희생시키지 않고 계산 효율성을 확보한다.
• 이질분산 모델은 더 복잡하지만 DVI로 학습된 결과가 동질분산 모델보다 균일하게 뛰어나며, 과적합 현상은 관찰되지 않는다.
• 경험 베이즈를 통한 사전 분포 선택 방법은 모든 테스트된 데이터셋에서 수동 조정보다 더 나은 또는 동등한 성능을 지속적으로 확보하며, 개선 사례가 관찰된다.
• 이 방법은 강건하다: 전문가의 간섭이나 하이퍼파rameter 조정 없이도 다수의 무작위 훈련-테스트 분할에 대해 안정적으로 수렴한다.
• 결정론적 모멘트 근사는 기울기 추정치의 확률적 요소를 제거하여 학습을 안정화시키며, 더 빠르고 신뢰할 수 있는 수렴을 가능하게 한다.