[논문 리뷰] Exact priors of finite neural networks.

Jacob A. Zavatone-Veth, Cengiz Pehlevan|arXiv (Cornell University)|2021. 04. 23.

Adversarial Robustness in Machine Learning인용 수 11

한 줄 요약

이 논문은 유한한 베이지안 신경망의 출력 사전분포에 대한 정확한 해석적 표현을 유도하며, 깊이 있는 선형 네트워크의 출력 사전분포가 메이저 G-함수를 통해 표현 가능하다는 것을 보여주고, ReLU 네트워크는 활성화된 뉴런 수에 따라 변하는 선형 네트워크 사전분포의 혼합형태를 띤다는 것을 밝힌다. 이러한 결과는 유한한 네트워크에서 꼬리 행동과 넓은 네트워크 근사 극한에 대한 이전의 이해를 통합한다.

ABSTRACT

Bayesian neural networks are theoretically well-understood only in the infinite-width limit, where Gaussian priors over network weights yield Gaussian priors over network outputs. Recent work has suggested that finite Bayesian networks may outperform their infinite counterparts, but their non-Gaussian output priors have been characterized only though perturbative approaches. Here, we derive exact solutions for the output priors for individual input examples of a class of finite fully-connected feedforward Bayesian neural networks. For deep linear networks, the prior has a simple expression in terms of the Meijer $G$-function. The prior of a finite ReLU network is a mixture of the priors of linear networks of smaller widths, corresponding to different numbers of active units in each layer. Our results unify previous descriptions of finite network priors in terms of their tail decay and large-width behavior.

연구 동기 및 목표

• 유한한 완전 연결 피드포워드 베이지안 신경망의 출력 사전분포에 대한 정확하고 비퍼티어베이션 형태의 표현을 유도하는 것.
• 특수함수를 사용하여 깊이 있는 선형 네트워크의 출력 사전분포를 닫힌 형태로 특성화하는 것.
• ReLU 네트워크의 출력 사전분포가 각 레이어의 활성 뉴런 수에 따라 달라지는 더 얕은 선형 네트워크 사전분포의 혼합형태임을 보여주는 것.
• 꼬리 감쇠와 점점 넓어지는 극한 행동에 관해 이전에 산산이 흩어진 유한한 네트워크 사전분포에 대한 기존 기술들을 통합하는 것.

제안 방법

• 적분 변환과 메이저 G-함수의 성질을 사용하여 유한한 깊이 있는 선형 네트워크의 정확한 출력 사전분포를 유도하는 것.
• 각 레이어의 활성 뉴런 수에 따라 ReLU 네트워크를 선형 서브넷워크의 혼합으로 모델링하는 것.
• 전체 출력 사전분포를 이러한 서브넷워크의 사전분포에 대한 가중합으로 표현하기 위해 전체 확률의 법칙을 적용하는 것.
• 네트워크의 계층적 구조를 활용하여 개별 입력에 대한 출력에 대한 주변분포를 계산하는 것.
• 특수함수 이론과 확률과정 이론의 결과를 적용하여 닫힌 형태의 해를 도출하는 것.
• 유도된 사전분포가 넓은 크기 근사 근처에서 알려진 점근적 행동과 일관됨을 검증하는 것.

실험 결과

연구 질문

• RQ1 유한한 깊이 있는 선형 베이지안 신경망의 출력 사전분포의 정확한 형태는 무엇인가요?
• RQ2 유한한 ReLU 네트워크의 출력 사전분포는 활성화된 뉴런의 다양한 구성에 따라 어떻게 분해될 수 있나요?
• RQ3 유한한 ReLU 네트워크의 출력 사전분포는 더 얕은 선형 네트워크의 사전분포의 혼합형태로 표현될 수 있나요?
• RQ4 유한한 네트워크 사전분포의 꼬리 행동은 무한 넓이 극한과 비교해 어떻게 다릅니까?
• RQ5 유도된 정확한 해가 이전의 페르투르베이션 기반 기술들을 통합합니까?

주요 결과

• 깊이 있는 선형 베이지안 신경망의 출력 사전분포는 정확히 메이저 G-함수로 표현 가능하다.
• ReLU 네트워크의 경우, 출력 사전분포는 너비가 줄어든 선형 네트워크의 사전분포의 혼합형태이며, 혼합 가중치는 각 레이어의 활성 뉴런 수에 따라 달라진다.
• 유도된 사전분포는 베이지안 신경망의 알려진 넓은 크기 근사 점근적 행동을 정확히 재현한다.
• 정확한 해는 이전의 페르투르베이션 기반 기술들인 꼬리 감쇠와 스케일링에 대한 결과들을 통합하고 일반화한다.
• 이 프레임워크는 유한한 베이지안 신경망의 인덕티브 바이어스를 이해하기 위한 비퍼티어베이션 기반 기초를 제공한다.