[논문 리뷰] Multiplicative Normalizing Flows for Variational Bayesian Neural Networks

Christos Louizos, Max Welling|arXiv (Cornell University)|2017. 03. 06.

Gaussian Processes and Bayesian Inference참고 문헌 40인용 수 234

한 줄 요약

곱하기 정규화 흐름(MNF)을 도입하여 베이지안 신경망의 가변적 포스트리오를 유연하게 구성하고, mean-field 접근 방식보다 예측 정확도와 불확실성을 개선하며 로컬 재매개변수화 기법을 보존한다.

ABSTRACT

We reinterpret multiplicative noise in neural networks as auxiliary random variables that augment the approximate posterior in a variational setting for Bayesian neural networks. We show that through this interpretation it is both efficient and straightforward to improve the approximation by employing normalizing flows while still allowing for local reparametrizations and a tractable lower bound. In experiments we show that with this new approximation we can significantly improve upon classical mean field for Bayesian neural networks on both predictive accuracy as well as predictive uncertainty.

연구 동기 및 목표

• 라벨이 적은 경우에도 신경망에서 강건한 불확실성 추정을 촉진한다.
• 유연한 포스트리오를 갖는 베이지안 NN용 확장 가능한 변분 추론 프레임워크를 개발한다.
• 곱셈적 노이즈와 정규화 흐름을 통합하여 로컬 재매개변화의 이점을 잃지 않으면서 근사 포스트리오를 보강한다.
• MNIST, CIFAR-10 및 토이 회귀 작업에서 MNF를 드롭아웃, 딥 앙상블 및 사전/사후 선택과 비교 평가한다.

제안 방법

• W가 q(z)에서 뽑힌 잠재 변수 z에 의해 변조되는 조건부 가우시안 q(W|z)으로 가중치를 모델링한다.
• q(z)에 정규화 흐름을 적용한다(IAF 스타일 업데이트를 갖춘 마스크드 RealNVP 사용)하여 혼합 분포를 풍부하게 한다.
• 엔트로피 항을 한정하고 계산 가능한 변분-bound를 얻기 위해 보조 분포 r(z|W)를 사용한다.
• 변분 목적함수의 효율적 그라디언트 기반 최적화를 위해 지역 재매개변화를 유지한다.
• MNFs 하에서 완전 연결층 및 합성곱층에 대한 KL-발산 경계 및 실용적 순전파를 도출한다.
• z-flow를 층의 계산에 통합한 순전파 알고리즘을 제공한다(Equations 3–6).

실험 결과

연구 질문

• RQ1 MNF 포스트리가 평균-field 가우시안 포스트리오보다 가중치에 대한 실제 포스트리에 더 잘 근사하는가?
• RQ2 MNFs가 표준 베이지안 NN 방법(예: 드롭아웃, 매트릭스 가우시안) 및 비베이지안 기준선과 비교하여 예측 정확도와 보정된 불확실성을 개선하는가?
• RQ3 적대적 공격 및 분포 외 상황에서 MNFs가 경쟁 불확실성 방법과 비교하여 어떻게 성능하는가?
• RQ4 다른 사전(가우시안 대 로그-균등)이 MNF 기반 불확실성 및 희소성에 미치는 영향은 무엇인가?
• RQ5 MNFs가 딥 앙상블과 비슷한 성능을 달성하면서도 우수한 불확실성 추정과 효율성을 제공할 수 있는가?

주요 결과

• MNFs는 평균장 포스트리에 비해 예측 정확도와 불확실성을 크게 향상시킨다.
• MNF 기반 모델은 notMNIST와 CIFAR-10에서 드롭아웃 및 딥 앙상블에 비해 더 현실적인 예측 불확실성을 제공한다.
• 적대적 섭동하에서 MNF는 일부 기준 방법과 달리 높은 확신 대신 예측 불확실성을 증가시킨다.
• 적절한 사전(예: 가우시안 대 로그-균등)을 사용한 MNF는 서로 다른 희소성 및 불확실성 프로파일을 생성하여 사전 선택의 중요성을 강조한다.
• MNFs는 Dropout과 비견될 만큼의 정확도를 달성하면서도 불확실성 동작이 향상되며, 일부 설정에서 Deep Ensembles의 성능에 근접할 수 있다.