[논문 리뷰] A Correspondence Between Random Neural Networks and Statistical Field Theory

Samuel S. Schoenholz, Jeffrey Pennington외 1명|arXiv (Cornell University)|2017. 10. 18.

Neural Networks and Applications참고 문헌 13인용 수 12

한 줄 요약

이 논문은 넓은 무작위 신경망에서의 전활성화 분포와 물리학의 통계적 격자 모델 사이에 정확한 대응 관계를 수립하여, 네트워크 행동 분석에 필드 이론 기법을 적용할 수 있도록 한다. 푸리에 변환을 통해 선형 및 ReLU 네트워크에 대한 가우시안 근사를 유도하고, 대규모 동역학이 효과적 필드 이론에 의해 지배됨을 보이며, 아키텍처와 가중치 초기화 방법에 관계없이 시뮬레이션과 높은 일치도를 보인다.

ABSTRACT

A number of recent papers have provided evidence that practical design questions about neural networks may be tackled theoretically by studying the behavior of random networks. However, until now the tools available for analyzing random neural networks have been relatively ad-hoc. In this work, we show that the distribution of pre-activations in random neural networks can be exactly mapped onto lattice models in statistical physics. We argue that several previous investigations of stochastic networks actually studied a particular factorial approximation to the full lattice model. For random linear networks and random rectified linear networks we show that the corresponding lattice models in the wide network limit may be systematically approximated by a Gaussian distribution with covariance between the layers of the network. In each case, the approximate distribution can be diagonalized by Fourier transformation. We show that this approximation accurately describes the results of numerical simulations of wide random neural networks. Finally, we demonstrate that in each case the large scale behavior of the random networks can be approximated by an effective field theory.

연구 동기 및 목표

• 무작위 신경망과 통계적 필드 이론을 연결하는 엄밀한 이론적 프레임워크를 수립하기 위해.
• 넓은 무작위 네트워크에서의 전활성화가 통계물리학의 격자 모델에 정확히 대응됨을 보여주기 위해.
• 넓은 근사에서 깊은 선형 및 ReLU 네트워크에 대해 체계적인 근사법—특히 가우시안 및 효과적 필드 이론—을 도출하기 위해.
• 수치 시뮬레이션을 통한 이론의 검증을 통해 네트워크 행동 예측의 높은 정확도를 입증하기 위해.
• 필드이론적 도구를 사용하여 손실 곡면, 학습 동역학, 일반화를 분석할 수 있는 길을 열기 위해.

제안 방법

• 저자들은 가중치와 편향이 i.i.d. 가우시안인 랜덤 신경망 앙상블을 구성하고, 이를 정확히 통합하여 전활성화 분포를 도출한다.
• 이 분포는 통계적 격자 모델의 보르츠만 분포와 정확히 동일하며, 스핀 시스템과의 정확한 대응 관계를 가짐을 보인다.
• 넓은 네트워크 근사에서 전활성화 분포는 폭과 가중치 분산에 따라 달라지는 공분산 행렬을 가진 가우시안으로 근사된다.
• 푸리에 변환을 사용하여 공분산 행렬을 대각화함으로써, 계층 간 상관관계 분석을 단순화한다.
• 네트워크의 장파장 행동은 효과적 필드 이론으로 유도되며, 느린 변동을 기술하는 연속적인 작용이 포함된다.
• 이론은 다양한 아키텍처와 초기화 방법에서 넓은 랜덤 네트워크의 수치 시뮬레이션 결과와의 비교를 통해 검증된다.

실험 결과

연구 질문

• RQ1 넓은 무작위 신경망에서의 전활성화 분포는 물리학의 통계적 격자 모델에 정확히 대응될 수 있는가?
• RQ2 깊은 선형 및 ReLU 네트워크에서 전활성화 간 상관관계는 넓은 네트워크 근사에서 어떻게 행동하는가?
• RQ3 무작위 신경망의 대규모 행동을 지배하는 효과적 필드 이론의 형태는 무엇인가?
• RQ4 전활성화 분포의 가우시안 근사는 수치 시뮬레이션을 얼마나 정확하게 기술하는가?
• RQ5 필드이론적 도구를 사용하여 무작위 네트워크에서의 학습 동역학과 손실 곡면 통계를 분석할 수 있는가?

주요 결과

• 무작위 신경망에서의 전활성화 분포는 정확히 통계적 격자 모델에 대응되며, 네트워크 분석을 위한 엄밀한 필드이론적 기반을 제공한다.
• 깊은 선형 및 ReLU 네트워크의 경우, 넓은 근사에서 전활성화 분포는 공분산 행렬이 푸리에 변환을 통해 대각화될 수 있는 가우시안으로 잘 근사된다.
• ReLU 네트워크의 효과적 필드 이론은 공간적 두 번째 도함수를 포함하는 항을 포함하며, 이는 비선형성의 영향이 장파장 변동에 미치는 영향을 반영한다.
• 이론은 전활성화의 분산과 상관관계 구조를 매우 정확하게 예측하며, 다양한 네트워크 깊이와 폭에서 수치 시뮬레이션과 높은 일치도를 보인다.
• 이 프레임워크는 통계적 필드 이론에서 잘 알려진 도구—예: 재규격화군 아이디어—를 사용하여 네트워크 행동의 체계적 근사를 가능하게 한다.
• 이 방법은 작은 손실을 무작위 초기화 앙상블에 대한 섭동으로 간주함으로써, 향후 손실 곡면과 초기 학습 동역학 분석을 가능하게 한다.