[논문 리뷰] Exact posterior distributions of wide Bayesian neural networks

Jiri Hron, Yasaman Bahri외 3명|arXiv (Cornell University)|2020. 06. 18.

Gaussian Processes and Bayesian Inference참고 문헌 17인용 수 6

한 줄 요약

이 논문은 넓은 베이지안 신경망(BNN)의 정확한 사후분포가 약한 수렴을 통해 사전분포의 가우시안 프로세스(GP) 근사에 의해 유도되는 사후분포로 수렴함을 증명한다. 이는 미묘한 우도 가정 하에 성립한다. 엄밀한 이론적 분석과 작은 데이터셋에서의 정확한 거부 샘플링을 통해 유한한 넓이를 가진 BNN 사후분포와 그 GP 사후분포 근사 간의 점근적 동치성을 확립하여, BNN 일반화 이론에서 오랫동안 존재해온 이론적 간극을 해결한다.

ABSTRACT

Recent work has shown that the prior over functions induced by a deep Bayesian neural network (BNN) behaves as a Gaussian process (GP) as the width of all layers becomes large. However, many BNN applications are concerned with the BNN function space posterior. While some empirical evidence of the posterior convergence was provided in the original works of Neal (1996) and Matthews et al. (2018), it is limited to small datasets or architectures due to the notorious difficulty of obtaining and verifying exactness of BNN posterior approximations. We provide the missing theoretical proof that the exact BNN posterior converges (weakly) to the one induced by the GP limit of the prior. For empirical validation, we show how to generate exact samples from a finite BNN on a small dataset via rejection sampling.

연구 동기 및 목표

• 네트워크 넓이가 증가함에 따라 베이지안 신경망(BNN) 사후분포의 점근적 행동을 이해하는 데 있어 오랫동안 존재해온 이론적 간극을 메우기 위해.
• 넓은 BNN의 정확한 함수 공간 사후분포가 사전분포의 가우시안 프로세스(GP) 근사에 의해 유도되는 사후분포로 약하게 수렴함을 입증하기 위해.
• 이론적 증명을 통해 사후분포 수렴을 엄밀히 보장하여 이전의 경험적 관찰을 보완하기 위해.
• 작은 데이터셋에서 정확한 사후분포 샘플링을 위해 거부 샘플링을 활용하여 이론적 주장의 경험적 검증을 가능하게 하기 위해.

제안 방법

• 함수 공간에서의 약한 수렴을 사용하여 넓은 BNN의 사후분포에 대한 이론적 분석.
• 이전 연구(Matthews 등, 2018; Neal, 1996)에서 제안된 GP 근사 프레임워크를 사후 설정으로 확장.
• 망각 함수가 네트워크 출력에만 의존하고 연속적이며 유계임을 가정하여 넓이에 관계없이 점근적으로 불변함을 보장.
• 작은 데이터셋에서의 정확한 사후분포 샘플링을 위해 거부 샘플링을 활용하여 이론적 결과의 경험적 검증.
• 슬라츠키의 보조정리와 확률 수렴을 적용하여 고정된 입력 집합에서의 사후분포 약한 수렴을 확립.
• 네트워크 활성화의 고차원 모멘트(최대 제8차까지)의 유계성에 대한 귀납적 증명을 통해 중심극한정리 유형의 추론이 한계에서 유효함을 보장.

실험 결과

연구 질문

• RQ1 넓은 베이지안 신경망의 정확한 사후분포는 사전분포의 가우시안 프로세스 근사에 의해 유도되는 사후분포로 약하게 수렴하는가?
• RQ2 이 사후분포 수렴이 성립하는 우도 함수에 대한 조건은 무엇인가?
• RQ3 유한한 넓이를 가진 BNN에서 정확한 사후분포 샘플링이 가능하여 이론적 수렴을 경험적으로 검증할 수 있는가?
• RQ4 고정된 입력 집합과 유계 우도가 사후분포의 점근적 행동에 어떤 영향을 미치는가?
• RQ5 사후분포 수렴 증명에서 중심극한정리 추론의 유효성을 보장하는 기술적 조건은 무엇인가?

주요 결과

• 네트워크 넓이가 무한대에 가까워질수록 넓은 BNN의 정확한 사후분포는 GP에 의해 유도되는 사후분포로 약하게 수렴한다.
• 이 수렴은 우도가 네트워크 출력에만 의존하고 연속적이며 유계임을 가정할 경우 성립하며, 이는 넓이에 관계없이 불변함을 보장한다.
• 이 증명은 사전분포 수렴과 우도의 구조에 기반하여 이전의 사전분포 결과를 사후분포 행동으로 확장함을 입증한다.
• 작은 데이터셋에서 거부 샘플링을 통한 정확한 사후분포 샘플링이 가능하여 이론적 수렴의 경험적 검증이 가능하다.
• 네트워크 활성화의 고차원 모멘트(최대 제8차까지)의 유계성이 귀납적으로 증명되어 점근적 추론의 타당성을 뒷받침한다.
• 고정된 수의 가중치가 i.i.d.가 아닌 값으로 설정되어 있어도(예: ε-J 집합을 통해), 온건한 조건 하에 점근적 행동이 유지됨을 보여준다.