[논문 리뷰] Radial Bayesian Neural Networks: Beyond Discrete Support In Large-Scale Bayesian Deep Learning

Sebastian Farquhar, Michael A. Osborne외 1명|arXiv (Cornell University)|2019. 07. 01.

Gaussian Processes and Bayesian Inference참고 문헌 29인용 수 21

한 줄 요약

이 논문은 고차원 가우시안 분포의 ' soapy bubble( soapy bubble) 병태' 문제를 피하기 위해 평균장 가우시안 사후분포를 초구면 공간에서의 원형 분포로 대체하는 변분 추론 방법인 Radial Bayesian Neural Networks (Radial BNNs)를 소개한다. 이 방법은 가중치 공간 전체에 대한 지원을 제공하고 기울기 분산을 감소시키며, 초모수 조정 없이도 대규모 의료 영상 작업에서 MC 드롭아웃과 딥 앙상블을 능가한다.

ABSTRACT

We propose Radial Bayesian Neural Networks (BNNs): a variational approximate posterior for BNNs which scales well to large models while maintaining a distribution over weight-space with full support. Other scalable Bayesian deep learning methods, like MC dropout or deep ensembles, have discrete support-they assign zero probability to almost all of the weight-space. Unlike these discrete support methods, Radial BNNs' full support makes them suitable for use as a prior for sequential inference. In addition, they solve the conceptual challenges with the a priori implausibility of weight distributions with discrete support. The Radial BNN is motivated by avoiding a sampling problem in 'mean-field' variational inference (MFVI) caused by the so-called 'soap-bubble' pathology of multivariate Gaussians. We show that, unlike MFVI, Radial BNNs are robust to hyperparameters and can be efficiently applied to a challenging real-world medical application without needing ad-hoc tweaks and intensive tuning. In fact, in this setting Radial BNNs out-perform discrete-support methods like MC dropout. Lastly, by using Radial BNNs as a theoretically principled, robust alternative to MFVI we make significant strides in a Bayesian continual learning evaluation.

연구 동기 및 목표

• 고차원 가우시안 분포에서 평균에서 벗어나는 표본이 발생하는 '비정상적(soap-bubble)' 현상으로 인해 기울기 분산이 높아지는 평균장 변분 추론(MFVI)의 병태를 해결하기 위해.
• 가중치 공간 전체에 대한 지원을 갖는 스케일러블한 베이지안 신경망 방법을 개발하여, MC 드롭아웃과 딥 앙상블과 같은 방법의 이산적 지원을 피하기 위해.
• 실제 대규모 딥러닝 작업(예: 의료 영상 분류)에 적합한 초모수에 민감하지 않은 강건한 추론 방법을 개발하기 위해.
• 계속 학습 환경에서 BNN 사후분포를 데이터 의존적 사전확률로 사용할 수 있도록 하여, 영향력이 없는 사전확률의 한계를 극복하기 위해.

제안 방법

• 각 신경망 레이어에 대해 초구면 공간에서의 원형 근사 사후분포를 제안하고, 이를 원형 기저 함수를 통해 가중치 공간으로 변환한다.
• 사후분포를 단위 구면 상의 분포로 정의하며, 원형 성분은 단변량 분포(예: 감마 또는 역감마 분포)에서 추출하여 표본이 평균 근처에 집중되도록 보장한다.
• 좌표 변환 없이도 효율적인 훈련이 가능한 증명 가능한 ELBO(하한 근사) 표현식을 유도한다.
• 기준선 비교를 위해 MFVI의 가우시안 사전분포를 거부 샘플링을 통해 잘라내는 방법을 사용하며, 낮은 분산 추정기로 성능 향상이 가능하나 여전히 Radial BNNs에 열등함을 입증한다.
• 표준 딥러닝 프레임워크를 활용해 구현하여 MFVI와 동일한 훈련 속도와 구현 용이성을 유지한다.
• 고차원 입력(~230K 차원)을 가진 1500만 파라미터 모델에 대해 당뇨성 망막병변 탐지 작업에 이 방법을 적용한다.

실험 결과

연구 질문

• RQ1 원형 사후분포가 고차원 평균장 변분 추론에서 발생하는 '비정상적(soap-bubble)' 병태를 완화할 수 있는가?
• RQ2 전체 지원 사후분포는 대규모 베이지안 딥러닝에서 초모수 선택에 대한 강건성을 향상시키는가?
• RQ3 Radial BNNs는 실세계의 고차원 의료 영상 작업에서 최신 기술인 MC 드롭아웃과 딥 앙상블을 능가할 수 있는가?
• RQ4 Radial BNN의 사후분포는 계속 학습 환경에서 효과적인 데이터 의존적 사전확률로 사용될 수 있는가?
• RQ5 향상된 성능은 더 대표적인 사후분포 표본으로 인한 기울기 분산 감소 때문인가?

주요 결과

• Radial BNNs는 실세계의 당뇨성 망막병변 분류 작업에서 MC 드롭아웃과 딥 앙상블을 능가하며, 더 낮은 테스트 RMSE와 더 높은 예측 로그우도를 달성한다.
• UCI 회귀 벤치마크에서 Radial BNNs는 최고 성능을 기록했으며, 와인 데이터셋에서 평균 테스트 RMSE는 0.64 ± 0.01, Kin8nm에서 0.07 ± 0.00을 기록하여 MFVI 및 기타 기준선을 초월한다.
• 초모수 선택에 대해 강건하여, 다양한 가중치 초기화 분산과 학습률에서도 안정적인 성능을 유지한다.
• 자르기 적용된 MFVI(거부 샘플링 사용)는 성능 향상이 있으나 여전히 Radial BNNs에 열등하여, MFVI의 핵심 문제점은 높은 기울기 분산임을 시사한다.
• Radial BNNs는 가중치 공간 전체에 대한 지원을 유지하여 계속 학습 환경에서 사전확률로 사용 가능하며, 이로 인해 이산적 지원 방법보다 치명적 기억 상실을 더 효과적으로 방지한다.
• 해석 가능한 ELBO 유도로 인해 표준 MFVI와 동일한 효율성으로 훈련이 가능하며, 추가 계산 오버헤드 없이도 성능을 유지를 한다.