[논문 리뷰] Try Depth Instead of Weight Correlations: Mean-field is a Less Restrictive Assumption for Deeper Networks.

Sebastian Farquhar, Lewis Smith외 1명|arXiv (Cornell University)|2020. 02. 10.

Gaussian Processes and Bayesian Inference인용 수 4

한 줄 요약

이 논문은 깊이 있는 딥 베이지안 신경망에서 평균장 변분 추론이 제약이 된다는 가정을 도전하며, 더 깊은 평균장 모델이 더 얕은 네트워크의 복잡한 가중치 사후분포와 유사한 기능 공간 분포를 달성할 수 있음을 보여준다. 해밀토니안 몬테카를로 및 대규모 비교를 통한 경험적 검증을 통해 더 깊은 평균장 네트워크가 이론적으로 타당하고 실용적으로 효과적인 복잡한 구조적 사후분포의 대안임을 확인한다.

ABSTRACT

We challenge the longstanding assumption that the mean-field approximation for variational inference in Bayesian neural networks is severely restrictive, and show this is not the case in deep networks. We prove several results indicating that deep mean-field variational weight posteriors can induce similar distributions in function-space to those induced by shallower networks with complex weight posteriors. We validate our theoretical contributions empirically, both through examination of the weight posterior using Hamiltonian Monte Carlo in small models and by comparing diagonal- to structured-covariance in large settings. Since complex variational posteriors are often expensive and cumbersome to implement, our results suggest that using mean-field variational inference in a deeper model is both a practical and theoretically justified alternative to structured approximations.

연구 동기 및 목표

• 딥 베이지안 신경망에서 평균장 변분 추론이 지나치게 제약이 된다는 오랜 믿음을 도전하는 것.
• 더 깊은 네트워크에서 평균장 가중치 사후분포가 더 얕은 네트워크의 복잡한 가중치 사후분포와 유사한 기능 공간 분포를 달성할 수 있는지 조사하는 것.
• 복잡한 구조적 사후분포의 계산 비용이 높은 근사치 대신 더 깊은 평균장 모델을 사용하는 데 이론적이고 경험적인 근거를 제공하는 것.

제안 방법

• 이론적 분석을 통해 깊이 있는 평균장 변분 사후분포가 복잡한 가중치 사후분포를 가진 얕은 네트워크와 유사한 기능 공간 분포를 유도할 수 있음을 증명한다.
• 경험적 검증을 위해 작은 모델에서 해밀토니안 몬테카를로를 사용해 가중치 사후분포를 분석하여 이론적 주장의 타당성을 확인한다.
• 큰 모델에서의 비교 실험을 통해 변분 사후분포에서 대각형과 구조적 공분산 간의 성능을 평가하고 기능적 동등성을 분석한다.
• 구조적 사후분포 근사치의 실용적 대안으로 깊이 있는 아키텍처에서의 평균장 추론을 활용한다.
• 이론적 결과는 깊이가 평균장 가중치 사후분포의 단순화를 상쇄할 수 있다는 가정 하에 유도된다.

실험 결과

연구 질문

• RQ1 딥 베이지안 신경망에서 평균장 변분 추론은 여전히 제약이 되는가, 아니면 깊이가 그 제약를 완화시킬 수 있는가?
• RQ2 더 깊은 평균장 네트워크는 복잡한 가중치 사후분포를 가진 더 얕은 네트워크와 유사한 기능 공간 분포를 생성할 수 있는가?
• RQ3 더 깊은 모델에서의 평균장 추론은 구조적 사후분포 근사치의 이론적으로 타당하고 경험적으로 효과적인 대안인가?

주요 결과

• 더 깊은 평균장 변분 사후분포는 복잡한 가중치 사후분포를 가진 더 얕은 네트워크와 유사한 기능 공간 분포를 유도할 수 있다.
• 해밀토니안 몬테카를로를 사용한 경험적 결과는 더 깊은 모델에서의 평균장 가중치 사후분포가 의미 있는 기능적 불확실성을 포착하고 있음을 확인한다.
• 대규모 설정에서 대각형 공분산과 구조적 공분산 변분 사후분포 간 성능이 유사함을 보이며, 깊이가 증가하면 평균장이 충분함을 시사한다.
• 이론적 분석은 깊이가 평균장 가정이 유도하는 기능적 제약을 줄임을 보여준다.
• 이 연구는 복잡한 구조적 사후분포의 대안으로 더 깊은 평균장 모델을 실용적이고 이론적으로 타당하게 사용할 수 있음을 강력히 제안한다.