[论文解读] Criticality & Deep Learning II: Momentum Renormalisation Group

Dan Oprisa, Péter Tóth|arXiv (Cornell University)|May 31, 2017

Advanced Thermodynamics and Statistical Mechanics参考文献 13被引用 3

一句话总结

本文提出了一种新颖的动量空间重整化群（RG）框架，通过非齐次多项式正则化在深度学习（DL）系统中诱导尺度不变性。通过将深度学习架构映射为有效场论，并在动量空间中应用威尔逊重整化群，作者推导出耦合参数的流方程，这些方程转化为临界正则化约束——提供了一种数学上优雅且充分的机制，以在深度学习模型中实现临界性与幂律相关性。

ABSTRACT

Guided by critical systems found in nature we develop a novel mechanism consisting of inhomogeneous polynomial regularisation via which we can induce scale invariance in deep learning systems. Technically, we map our deep learning (DL) setup to a genuine field theory, on which we act with the Renormalisation Group (RG) in momentum space and produce the flow equations of the couplings; those are translated to constraints and consequently interpreted as "critical regularisation" conditions in the optimiser; the resulting equations hence prove to be sufficient conditions for - and serve as an elegant and simple mechanism to induce scale invariance in any deep learning setup.

研究动机与目标

• 通过借鉴统计物理中的临界现象，建立一种理论机制，以在深度学习系统中诱导尺度不变性。
• 通过将全连接网络映射为动量空间中的哈密顿量形式，弥合深度学习与有效场论之间的鸿沟。
• 开发一种新颖的正则化方案——‘临界正则化’——其源自动量空间中的重整化群流方程。
• 提供一种数学上严格且可推广的框架，以在深度学习架构中实现临界性。

提出的方法

• 通过哈密顿密度将全连接深度学习网络映射为有效场论，将权重和偏置编码为耦合参数。
• 在动量空间中执行威尔逊重整化群（RG）变换，推导出在尺度变换下耦合参数的流方程。
• 将RG流方程转化为对网络权重的约束，这些约束在优化过程中可被解释为‘临界正则化’条件。
• 使用傅里叶基底对动量空间中的哈密顿量进行对角化，得到依赖动量的耦合参数的二次型形式。
• 在高斯极限下精确计算两点关联函数，显示在临界点处呈现幂律衰减（Ckl ∼ 1/|x|^{d−2}）
• 将关联函数用作探测器，评估训练后深度学习系统中的临界性，发现在d=2时长程区域出现发散。

实验结果

研究问题

• RQ1 能否在动量空间中应用重整化群来在深度学习系统中诱导尺度不变性？
• RQ2 在深度学习架构中实现临界性的网络权重所需满足的必要且充分条件是什么？
• RQ3 场论概念如耦合流和固定点如何映射到深度学习的优化与正则化中？
• RQ4 两点关联函数在诊断深度神经网络临界性方面起什么作用？
• RQ5 动量空间RG能否为深度学习提供一种原则性且通用的正则化机制？

主要发现

• 动量空间RG框架产生了一组耦合流的微分方程，这些方程是深度学习系统中实现尺度不变性的充分条件。
• 推导出的临界正则化约束在数学上优雅，并可直接转化为对网络权重的优化约束。
• 在高斯极限下，两点关联函数表现出幂律衰减 ∼1/|x|^{d−2}，当 r → 0 时确认了临界行为。
• 当 d = 2 时，关联函数在长距离处对数发散，这是临界性的显著标志。
• 该方法提供了一种通用的、基于场论的机制，可通过动量空间RG流将临界性嵌入任意深度学习架构中。
• 该框架成功地将深度学习映射为有效场论，使统计场论中的先进工具可用于研究和控制模型行为。