[論文レビュー] Renormalization in the neural network-quantum field theory correspondence

Harold Erbin, Vincent Lahoche+1 more|arXiv (Cornell University)|Dec 22, 2022

Neural Networks and Applications被引用数 6

ひとこと要約

本稿では、ニューラルネットワークの重み分布の標準偏差を、量子場理論（QFT）フレームワークにおけるスケールパラメータにマッピングすることで、完全結合ニューラルネットワークの空間におけるレノルミゼーション群（RG）フローを確立する。NN-QFT対応を用いて、非摂動的かつ正確なRG方程式を導出し、σ_W を変化させることで相互作用結合子にスケーリング行動が生じることを示し、σ_W に対するべき乗則的依存性が数値的に検証された。

ABSTRACT

A statistical ensemble of neural networks can be described in terms of a quantum field theory (NN-QFT correspondence). The infinite-width limit is mapped to a free field theory, while finite N corrections are mapped to interactions. After reviewing the correspondence, we will describe how to implement renormalization in this context and discuss preliminary numerical results for translation-invariant kernels. A major outcome is that changing the standard deviation of the neural network weight distribution corresponds to a renormalization flow in the space of networks.

研究の動機と目的

• ニューラルネットワークの重み分布と量子場理論（QFT）との間の厳密な接続を、NN-QFT対応を用いて確立すること。
• 非ガウス型有効作用を用いて、有限幅補正を含むNN-QFT対応を拡張すること。
• σ_W をフロー・パラメータとして扱う、非摂動的レノルミゼーション群（RG）フレームワークを実装すること。
• 並進不変カーネルの数値シミュレーションを通じて、理論的RGフロー予測の妥当性を検証すること。
• この対応が、深層学習における一般化、学習ダイナミクス、アーキテクチャ設計の理解に与える影響を検討すること。

提案手法

• ガウス分布に従う重みを持つ完全結合ニューラルネットワークの統計的アンサンブルを、NN-QFT対応を用いてQFTにマッピングする。
• 無限大幅極限を、作用 S₀[f] とカーネル K で定義される自由ガウス型QFTとして定義し、K⁻¹ = Ξ とする。
• 有限N補正を捉えるために、作用 S[f] = S₀′[f] + S_int[f] に非ガウス型相互作用項 S_int[f] を導入する。
• スケール依存有効作用 Γ_Λ[f_cl] を記述する、Wetterich型の正確なレノルミゼーション群（ERG）方程式を実装する。
• 運動量空間レギュレータ r_Λ(q²) = α(Λ² − q²)θ(Λ² − q²)（Liturレギュレータ）を用いて、UVとIR領域の滑らかな補間を定義する。
• 相互作用結合子 u₄ と u₆ のフロー方程式を導出し、σ_W に対するべき乗則的スケーリング log u₄ ∝ (4 − d_in) log σ_W を示す。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークの重みの標準偏差 σ_W を、NN-QFT対応におけるレノルミゼーション群（RG）スケールパラメータとしてどのように解釈できるか？
• RQ2 有限幅ニューラルネットワークにおける相互作用結合子の進化を支配する正確な非摂動的RG方程式は何か？
• RQ3 相互作用強度 u₄ と u₆ は σ_W に対してどのようにスケーリングするか？このスケーリングは解析的に導出可能であり、数値的に検証可能か？
• RQ4 NN-QFT対応は、無限大幅ガウス過程極限を越えて、有限-N補正を体系的に記述可能か？
• RQ5 QFTフレームワークは、スケール依存結合子を通じて、ニューラルネットワークの学習と一般化の有効な物理を捉えることができるか？

主な発見

• 重み分布の標準偏差 σ_W が、レノルミゼーション群（RG）フロー・パラメータとして機能し、σ_W → ∞ が紫外（UV）領域、σ_W → 0 が赤外（IR）領域に対応する。
• 4点結合子 u₄ は log u₄ = (4 − d_in) log σ_W + const の形でスケーリングし、d_in < 4 の場合に普遍的なべき乗則的依存性が確認された。
• N = 2, 10, 100, 1000 のネットワークにおける数値シミュレーションは、u₄ の予測されたRGフロー方程式と良好な一致を示した。
• 6点結合子に対しても同様のスケーリング則が導出された：log u₆ = (6 − 2d_in) log σ_W + const。
• Wetterich ERG方程式は、有効作用のスケール進化を的確に捉えており、レギュレータ r_Λ が滑らかな運動量シェル統合を保証している。
• 本フレームワークは、有限幅ニューラルネットワークの非摂動的で場の理論的記述を提供し、一般化や学習ダイナミクスの解析的解析を可能にした。