[논문 리뷰] Liberty or Depth: Deep Bayesian Neural Nets Do Not Need Complex Weight Posterior Approximations

Sebastian Farquhar, Lewis Smith외 1명|arXiv (Cornell University)|2020. 02. 10.

Gaussian Processes and Bayesian Inference인용 수 7

한 줄 요약

이 논문은 베이지안 신경망에 대해 평균장 변분 추론이 부적절하다는 가정을 도전하며, 평균장 가중치 사후분포를 갖는 깊은 네트워크가 복잡한 사후분포를 갖는 浅층 네트워크와 유사한 기능공간 분포를 달성할 수 있음을 보여준다. 하이퍼볼릭 몬테카를로 및 대규모 비교를 통한 경험적 검증 결과, 더 깊은 평균장 모델이 실질적으로 구조화된 사후분포를 능가함을 확인하였으며, 이는 이론적으로 타당하고 계산적으로 효율적인 대안이 된다.

ABSTRACT

We challenge the longstanding assumption that the mean-field approximation for variational inference in Bayesian neural networks is severely restrictive, and show this is not the case in deep networks. We prove several results indicating that deep mean-field variational weight posteriors can induce similar distributions in function-space to those induced by shallower networks with complex weight posteriors. We validate our theoretical contributions empirically, both through examination of the weight posterior using Hamiltonian Monte Carlo in small models and by comparing diagonal- to structured-covariance in large settings. Since complex variational posteriors are often expensive and cumbersome to implement, our results suggest that using mean-field variational inference in a deeper model is both a practical and theoretically justified alternative to structured approximations.

연구 동기 및 목표

• 평균장 변분 추론이 베이지안 신경망에 대해 너무 제한적이라는 널리 퍼진 믿음을 도전하기 위해.
• 단순한 평균장 가중치 사후분포를 갖는 깊은 아키텍처가, 복잡한 가중치 사후분포를 갖는 얕은 네트워크와 유사한 기능공간 분포를 달성할 수 있는지 조사하기 위해.
• 소규모 모델에서 하이퍼볼릭 몬테카를로를 사용하고, 대규모 모델에서 공분산 구조 비교를 통해 이론적 주장의 경험적 검증을 수행하기 위해.
• 깊은 네트워크에서의 평균장 변분 추론이 효율성과 성능 측면에서 복잡한 구조화된 사후분포보다 이론적으로 타당하고 실질적으로 열등하지 않음을 입증하기 위해.

제안 방법

• 이론적 분석을 통해 깊은 평균장 변분 사후분포가 복잡한 가중치 사후분포를 갖는 얕은 네트워크와 유사한 기능공간 분포를 유도할 수 있음을 증명한다.
• 소규모 모델에서 진짜 가중치 사후분포를 분석하기 위해 하이퍼볼릭 몬테카를로를 사용하여 평균장 추론의 근사 정확도를 검증한다.
• 대규모 모델에서 대각형 및 구조화된 공분산 행렬을 비교하여 사후분포 복잡성의 실질적 영향을 평가한다.
• 다양한 사후분포 근사의 표현 능력을 평가하기 위해 기능공간 동치성을 활용한다.
• 평균장 가정 하에 깊은 네트워크의 기능공간 분포 특성을 이용하여 이론적 결과를 도출한다.

실험 결과

연구 질문

• RQ1 깊은 평균장 변분 사후분포는 복잡한 가중치 사후분포를 갖는 얕은 네트워크와 유사한 기능공간 분포를 생성할 수 있는가?
• RQ2 깊은 네트워크에서의 평균장 근사는 일반적으로 상정하는 바와 같이 진정으로 제한적인가?
• RQ3 대규모 베이지안 신경망에서 대각형 공분산과 구조화된 공분산 행렬은 성능 및 표현 능력 측면에서 어떻게 비교되는가?
• RQ4 네트워크의 깊이가 단순한 가중치 사후분포를 보완하여 복잡한 기능공간 분포를 포괄할 수 있는가?

주요 결과

• 깊은 평균장 변분 추론은 복잡한 가중치 사후분포를 갖는 얕은 네트워크에서 생성되는 기능공간 분포와 정성적·정량적으로 유사한 기능공간 분포를 생성한다.
• 하이퍼볼릭 몬테카를로 분석을 통해 평균장 근사가 소규모 모델에서 진짜 사후분포의 핵심 구조를 잘 포착하고 있음을 확인하였다.
• 대규모 설정에서 대각형 공분산 변분 사후분포가 구조화된 공분산 근사보다 훈련 효율성과 테스트 성능 측면에서 뛰어나다.
• 이론적 결과는 깊이가 단지 단순한 평균장 근사의 결함을 메우기 위해 충분히 기여할 수 있음을 보여준다.