[논문 리뷰] Renormalization in the neural network-quantum field theory correspondence

Harold Erbin, Vincent Lahoche외 1명|arXiv (Cornell University)|2022. 12. 22.

Neural Networks and Applications인용 수 6

한 줄 요약

이 논문은 신경망의 가중치 분포의 표준편차를 양자장론(QFT) 프레임워크 내의 척도 매개변수로 매핑하여, 완전히 연결된 신경망의 공간에서 유도된 양자장론(RG) 흐름을 수립한다. NN-QFT 대응을 통해 정확한 비섭동적 RG 방정식을 유도하며, σ_W를 변화시킴으로써 상호작용 커플링의 스케일링 행동이 발생함을 보여주며, 수치적으로 σ_W에 대한 거듭제곱 법칙 의존성이 검증된다.

ABSTRACT

A statistical ensemble of neural networks can be described in terms of a quantum field theory (NN-QFT correspondence). The infinite-width limit is mapped to a free field theory, while finite N corrections are mapped to interactions. After reviewing the correspondence, we will describe how to implement renormalization in this context and discuss preliminary numerical results for translation-invariant kernels. A major outcome is that changing the standard deviation of the neural network weight distribution corresponds to a renormalization flow in the space of networks.

연구 동기 및 목표

• 신경망 가중치 분포와 양자장론(QFT) 사이의 엄밀한 연결 고리를 NN-QFT 대응을 통해 수립하기 위해.
• 비가우시안 효과적 작용을 도입하여 유한한 너비 보정을 포함한 NN-QFT 대응을 확장하기 위해.
• σ_W를 흐름 매개변수로 간주하여, 신경망에 대한 비섭동적 양자장론(RG) 프레임워크를 구현하기 위해.
• 이론적 RG 흐름 예측을 번역 불변 커널의 수치 시뮬레이션을 통해 검증하기 위해.
• 이 대응관계가 딥 러닝에서 일반화, 학습 역학 및 아키텍처 설계 이해에 미치는 영향을 탐색하기 위해.

제안 방법

• 가우시안 분포를 가진 가중치를 가진 완전히 연결된 신경망의 통계적 집합을 NN-QFT 대응을 통해 QFT로 매핑하기 위해.
• 무한한 너비 극한을 자유 가우시안 QFT로 정의하며, 작용 S₀[f]와 커널 K를 갖는데, 여기서 K⁻¹ = Ξ이다.
• 유한한 N 보정을 캡처하기 위해 S[f] = S₀′[f] + S_int[f]로 작용 S[f]에 비가우시안 상호작용 항 S_int[f]를 도입하기 위해.
• 스케일에 의존하는 효과적 작용 Γ_Λ[f_cl]을 기술하기 위해 Wetterich 유형의 정확한 양자장론(RG) 방정식을 구현하기 위해.
• UV와 IR 영역 사이의 매끄러운 보간을 정의하기 위해, 동역학적 공간 조절자 r_Λ(q²) = α(Λ² − q²)θ(Λ² − q²) (Litim 조절자)를 사용하기 위해.
• 상호작용 커플링 u₄와 u₆에 대한 흐름 방정식을 유도하며, σ_W에 대한 거듭제곱 법칙 스케일링을 보여줌: log u₄ ∝ (4 − d_in) log σ_W.

실험 결과

연구 질문

• RQ1 신경망 가중치의 표준편차 σ_W는 NN-QFT 대응에서 어떤 식으로 양자장론(RG) 척도 매개변수로 해석될 수 있는가?
• RQ2 유한한 너비를 가진 신경망에서 상호작용 커플링의 진화를 지배하는 정확한 비섭동적 RG 방정식은 무엇인가?
• RQ3 상호작용 강도 u₄와 u₆는 σ_W에 어떻게 스케일링되며, 이 스케일링은 해석적으로 유도되고 수치적으로 검증될 수 있는가?
• RQ4 NN-QFT 대응은 어떤 정도까지 무한한 너비의 가우시안 프로세스 극한을 초월하여 유한-N 보정을 체계적으로술 수 있는가?
• RQ5 QFT 프레임워크는 척도에 따라 변화하는 커플링을 통해 신경망 학습과 일반화의 효과적 물리를 포괄할 수 있는가?

주요 결과

• 가중치 분포의 표준편차 σ_W는 양자장론(RG) 흐름 매개변수로 작용하며, σ_W → ∞는 초고에너지(UV) 영역에 해당하고, σ_W → 0는 저에너지(IR) 영역에 해당한다.
• 4점 커플링 u₄는 log u₄ = (4 − d_in) log σ_W + const로 스케일링되며, d_in < 4일 경우 σ_W에 대한 보편적인 거듭제곱 법칙 의존성이 확인된다.
• N = 2, 10, 100, 1000인 네트워크의 수치 시뮬레이션은 u₄에 대한 예측된 RG 흐름 방정식과 뛰어난 일치를 보였다.
• 6점 커플링에 대해서도 유사한 스케일링 법칙이 도출됨: log u₆ = (6 − 2d_in) log σ_W + const.
• Wetterich ERG 방정식은 효과적 작용의 척도 진화를 성공적으로 캡처하였으며, 조절자 r_Λ는 매끄러운 운동량-셸 통합을 보장한다.
• 이 프레임워크는 유한한 너비를 가진 신경망에 대한 비섭동적, 장론론적 기술을 제공하며, 일반화와 학습 역학의 분석적 연구를 가능하게 한다.