[论文解读] Renormalization in the neural network-quantum field theory correspondence

Harold Erbin, Vincent Lahoche+1 more|arXiv (Cornell University)|Dec 22, 2022

Neural Networks and Applications被引用 6

一句话总结

该论文通过在量子场论（QFT）框架下将权重分布的标准差映射为尺度参数，在全连接神经网络的空间中建立了重整化群（RG）流。利用NN-QFT对应关系，推导出精确的非微扰RG方程，表明改变σ_W会在相互作用耦合中诱导出标度行为，且通过数值方法验证了其与σ_W的幂律依赖关系。

ABSTRACT

A statistical ensemble of neural networks can be described in terms of a quantum field theory (NN-QFT correspondence). The infinite-width limit is mapped to a free field theory, while finite N corrections are mapped to interactions. After reviewing the correspondence, we will describe how to implement renormalization in this context and discuss preliminary numerical results for translation-invariant kernels. A major outcome is that changing the standard deviation of the neural network weight distribution corresponds to a renormalization flow in the space of networks.

研究动机与目标

• 通过NN-QFT对应关系，建立神经网络权重分布与量子场论（QFT）之间严谨的联系。
• 利用非高斯有效作用量，将NN-QFT对应关系扩展至包含有限宽度修正。
• 为神经网络实施非微扰重整化群（RG）框架，将σ_W视为流参数。
• 通过平移不变核的数值模拟，验证理论RG流预测。
• 探讨该对应关系对理解深度学习中泛化、训练动力学及网络结构设计的启示。

提出的方法

• 使用NN-QFT对应关系，将具有高斯权重分布的全连接神经网络统计系综映射为QFT。
• 将无限宽度极限定义为自由高斯QFT，其作用量为S₀[f]，核为K，其中K⁻¹ = Ξ。
• 在作用量S[f] = S₀′[f] + S_int[f]中引入非高斯相互作用项S_int[f]，以捕捉有限-N修正。
• 采用Wetterich型精确重整化群（ERG）方程，描述尺度依赖的有效作用量Γ_Λ[f_cl]。
• 使用动量空间调节器r_Λ(q²) = α(Λ² − q²)θ(Λ² − q²)（Litim调节器），定义紫外（UV）与红外（IR）区域之间的平滑插值。
• 推导出相互作用耦合u₄与u₆的流方程，显示其与σ_W的幂律标度关系：log u₄ ∝ (4 − d_in) log σ_W。

实验结果

研究问题

• RQ1 在NN-QFT对应关系中，如何将神经网络权重的标准差σ_W解释为重整化群（RG）尺度参数？
• RQ2 有限宽度神经网络中，相互作用耦合演化的精确非微扰RG方程是什么？
• RQ3 相互作用强度u₄与u₆如何随σ_W变化？该标度关系能否通过解析推导并经数值验证？
• RQ4 NN-QFT对应关系在多大程度上能够系统描述超越无限宽度高斯过程极限的有限-N修正？
• RQ5 QFT框架能否通过尺度依赖的耦合，捕捉神经网络训练与泛化的有效物理？

主要发现

• 权重分布的标准差σ_W作为重整化群（RG）流参数，其中σ_W → ∞对应紫外（UV）区域，σ_W → 0对应红外（IR）区域。
• 四点耦合u₄的标度关系为log u₄ = (4 − d_in) log σ_W + const，证实当d_in < 4时，其对σ_W具有普遍的幂律依赖。
• 对N = 2、10、100、1000个网络的数值模拟显示，u₄的预测RG流方程具有极佳的一致性。
• 类似地，推导出六点耦合的标度律：log u₆ = (6 − 2d_in) log σ_W + const。
• Wetterich ERG方程成功捕捉了有效作用量的尺度演化，调节器r_Λ确保了动量壳积分的平滑性。
• 该框架为有限宽度神经网络提供了非微扰、场论描述，使泛化与训练动力学的解析研究成为可能。