[논문 리뷰] Exact marginal prior distributions of finite Bayesian neural networks

Jacob A. Zavatone-Veth, Cengiz Pehlevan|arXiv (Cornell University)|2021. 04. 23.

Gaussian Processes and Bayesian Inference참고 문헌 40인용 수 10

한 줄 요약

이 논문은 유한한 베이지안 신경망에 대한 정확한 주변 사전분포를 유도하며, 깊이 있는 선형 네트워크는 메이저 G-함수를 통해 표현 가능한 사전분포를 가지며, ReLU 네트워크는 활성화된 ReLU 유닛에 해당하는 선형 네트워크 사전분포의 혼합형태를 갖는다. 정확한 해법은 유한한 너비를 가진 네트워크에서 꼬리가 두꺼운 행동을 드러내며, 이는 하향적 근사법이 하중하중분포를 가정하는 것과 모순된다.

ABSTRACT

Bayesian neural networks are theoretically well-understood only in the infinite-width limit, where Gaussian priors over network weights yield Gaussian priors over network outputs. Recent work has suggested that finite Bayesian networks may outperform their infinite counterparts, but their non-Gaussian function space priors have been characterized only though perturbative approaches. Here, we derive exact solutions for the function space priors for individual input examples of a class of finite fully-connected feedforward Bayesian neural networks. For deep linear networks, the prior has a simple expression in terms of the Meijer $G$-function. The prior of a finite ReLU network is a mixture of the priors of linear networks of smaller widths, corresponding to different numbers of active units in each layer. Our results unify previous descriptions of finite network priors in terms of their tail decay and large-width behavior.

연구 동기 및 목표

• 유한 너비의 베이지안 신경망 기능 공간 사전분포에 대한 이론적 간극을 해결하기 위해.
• 단일 입력 예제에 중점을 두어 네트워크 출력에 대한 주변 사전분포의 정확한 표현을 도출하기 위해.
• 특히 깊고 좁은 아키텍처에서 나타나는 비정규성과 꼬리가 두꺼운 성질을 특성화하기 위해.
• 하향적 보정이 유한 너비 사전분포의 진짜 꼬리가 두꺼운 행동을 포착하지 못함을 보여주기 위해.
• 정확한 해법을 통해 이전의 尾 꼬리 감쇠 및 넓은 너비 점근적 행동 기술들을 통합하기 위해.

제안 방법

• 등방성 가우시안 가중치 사전분포를 가진 완전히 연결된 피드포워드 베이지안 신경망에서 전활성화(preactivations)의 정확한 주변 사전분포를 유도한다.
• 재귀적 조건부 조건과 모멘트 생성 함수를 사용하여 선형 네트워크의 사전분포를 메이저 G-함수로 표현한다.
• ReLU 네트워크의 경우, 각각의 활성 패턴에 대해 가능한 모든 혼합을 모델링하고, 은닉층에서 활성화된 ReLU 유닛의 이항 확률에 따라 가중치를 부여한다.
• 정확한 모멘트 계산과 점근적 전개를 적용하여 꼬리 행동과 넓은 너비 극한을 분석한다.
• 몬테카를로 샘플링과 가변 정밀도 산술 및 계산 효율성을 위한 커프오프를 사용한 고정밀 수치 평가를 통해 결과를 검증한다.
• 정확도 손실 없이 계산을 가속화하기 위해 작은 이항 계수(eps = 2^-52 이하)에 커프오프를 적용한다.

실험 결과

연구 질문

• RQ1 유한한 베이지안 신경망에서 출력 전활성화의 정확한 주변 사전분포 형태는 무엇인가?
• RQ2 유한 네트워크 사전분포의 꼬리 성질은 하향적 전개에 의해 예측된 것과 어떻게 다를까?
• RQ3 유한 너비를 가진 깊은 선형 네트워크의 사전분포 기능 형태는 무엇인가?
• RQ4 은닉층에서 다양한 활성 패턴에 따라 ReLU 네트워크의 사전분포는 어떻게 분해되는가?
• RQ5 정확한 해법이 유한 BNN에서 꼬리 감쇠와 넓은 너비 점근적 행동의 사전 기술을 통합할 수 있는가?

주요 결과

• 깊은 선형 베이지안 신경망의 사전분포는 정확히 메이저 G-함수로 표현 가능하며, 이는 유한 너비에 대해 닫힌 형태의 해를 제공한다.
• ReLU 네트워크의 사전분포는 더 얇은 선형 네트워크 사전분포의 혼합형태이며, 은닉층에서 각 활성 패턴의 확률에 따라 가중치가 결정된다.
• 유한 너비 네트워크는 깊이가 증가하고 너비가 감소할수록 더욱 두드러진 꼬리가 두꺼운 사전분포를 보이며, 이는 하향적 방법에서 가정하는 하중하중분포와 모순된다.
• 무한 너비 극한에 대한 하향적 보정은 정확한 사전분포의 진짜 꼬리가 두꺼운 성질을 포착하지 못하며, 이러한 근사의 근본적인 한계를 드러낸다.
• 정확한 해법은 이전에 알려진 점근적 행동(예: 꼬리 감쇠 및 넓은 너비 극한)을 추론으로써 통합하며, 이전 결과들을 통합한다.
• 수치적 검증은 부동소수점 정밀도 커프오프 하에서 사전분포 근사의 단조 수렴을 확인하였으며, 깊고 넓은 네트워크의 경우 계산 시간이 최대 153시간에 이르렀다.