[논문 리뷰] Precise characterization of the prior predictive distribution of deep ReLU networks

Lorenzo Noci, Gregor Bachmann외 3명|arXiv (Cornell University)|2021. 06. 11.

Gaussian Processes and Bayesian Inference인용 수 7

한 줄 요약

이 논문은 유한한 너비를 가진 딥 ReLU 네트워크에서 사전 예측 분포의 정밀한 분석적 특성화를 Meijer-G 함수를 사용하여 제시하며, 깊이가 증가할수록 꼬리가 두꺼워지고 너비가 증가할수록 정규성에 가까워지는 것을 드러낸다. 이는 무한한 깊이 근사에 대한 형식적인 연결을 수립하여 정규-로그정규 혼합 분포로 수렴하는 것을 보이고, 예측 분산을 직접 제어할 수 있도록 깊이와 너비에 기반한 일반화된 헤 편의를 도입한다.

ABSTRACT

Recent works on Bayesian neural networks (BNNs) have highlighted the need to better understand the implications of using Gaussian priors in combination with the compositional structure of the network architecture. Similar in spirit to the kind of analysis that has been developed to devise better initialization schemes for neural networks (cf. He- or Xavier initialization), we derive a precise characterization of the prior predictive distribution of finite-width ReLU networks with Gaussian weights. While theoretical results have been obtained for their heavy-tailedness, the full characterization of the prior predictive distribution (i.e. its density, CDF and moments), remained unknown prior to this work. Our analysis, based on the Meijer-G function, allows us to quantify the influence of architectural choices such as the width or depth of the network on the resulting shape of the prior predictive distribution. We also formally connect our results to previous work in the infinite width setting, demonstrating that the moments of the distribution converge to those of a normal log-normal mixture in the infinite depth limit. Finally, our results provide valuable guidance on prior design: for instance, controlling the predictive variance with depth- and width-informed priors on the weights of the network.

연구 동기 및 목표

• 유한한 너비를 가진 딥 ReLU 네트워크에서 사전 예측 분포의 분포적 성질를 이해하는 것. 이는 알려진된 꼬리가 두꺼운 행동에도 불구하고 아직 정밀하게 특성화되어 있지 않다.
• 특히 깊이와 너비와 같은 아키텍처 하이퍼파라미터가 사전 예측 분포의 형태에 미치는 영향을 형식화하는 것.
• 무한한 너비 근사 분석을 무한한 깊이 영역으로 확장하여, 신경망 가우시안 프로세스에 관한 이전 결과를 복원하고 일반화하는 것.
• 해석 가능하고 기능 공간의 분산 인식 사전을 설계하기 위한 원칙적인 프레임워크를 제공하는 것. 예를 들어 일반화된 헤 사전을 포함한다.

제안 방법

• 저자는 임의의 깊이와 유한한 너비를 가진 딥 ReLU 네트워크에서 사전 예측 분포의 확률 밀도 함수를 분석적으로 특성화하기 위해 Meijer-G 함수를 사용한다.
• 그들은 메릴린 변환과 감마 함수 및 이항 계수를 포함하는 조합 항등식을 사용하여 사전 예측 분포의 모멘트에 대한 정확한 표현을 유도한다.
• 분석은 ReLU 비선형성과 함께 무작위 행렬의 곱의 구조를 활용하여, 무작위 가중치를 가진 중간 레이어 활성화의 합으로 문제를 축소한다.
• 무한한 깊이 근사를 분석하기 위해 모멘트 생성 함수의 점근적 행동을 연구하여 정규-로그정규 혼합 분포로 수렴하는 것을 보였다.
• 이 방법은 깊이와 너비에 기반한 가중치 분산을 지정함으로써 예측 분산을 직접 제어할 수 있는 일반화된 헤 사전을 도출할 수 있게 한다.

실험 결과

연구 질문

• RQ1 유한한 너비를 가진 딥 ReLU 네트워크에서 사전 예측 분포는 깊이와 너비에 어떻게 의존하는가?
• RQ2 이러한 네트워크에서 사전 예측 밀도 함수, 누적분포함수, 모멘트의 정확한 해석적 형태는 무엇인가?
• RQ3 무한한 깊이 근사에서 사전 예측 분포의 모멘트는 어떻게 행동하는가? 어떤 분포로 수렴하는가?
• RQ4 기능 공간에서 예측 분산을 직접 제어할 수 있는 가중치 사전을 설계할 수 있는가? 이는 레이어별 튜닝과 독립적이다.

주요 결과

• 딥 ReLU 네트워크의 사전 예측 분포는 Meijer-G 함수를 사용하여 정밀하게 특성화되어 있으며, 밀도, CDF, 모멘트에 대한 완전한 분석적 기술이 가능해졌다.
• 더 깊어질수록 꼬리가 점점 두꺼워지고, 더 넓어질수록 정규 분포에 가까워지는 경향을 보이며, 깊이가 꼬리 행동에 더 강한 영향을 미친다.
• 무한한 깊이 근사에서 사전 예측 분포의 모멘트는 정규-로그정규 혼합 분포의 모멘트로 수렴하며, 비점근적 영역에서도 경험적 관측과 일치한다.
• 깊이가 너비와 선형적으로 증가하는 경우(l-1 = γm)에 짝수 모멘트는 (2k−1)!!·exp(5γk(k−1)/2)로 수렴함을 확인하여, 로그정규 성분의 등장함을 확인한다.
• 논문은 예측 분산을 직접 지정할 수 있도록 해주는 일반화된 헤 사전을 도입하여, 레이어별 분산 튜닝보다 더 해석 가능한 대안을 제공한다.