[论文解读] Machine Learning, Deepest Learning: Statistical Data Assimilation Problems

Henry Abarbanel, Paul J. Rozdeba+1 more|arXiv (Cornell University)|Jul 5, 2017

Meteorological Phenomena and Simulations参考文献 25被引用 4

一句话总结

本文建立了机器学习中的深度学习与物理科学中的统计数据同化之间的深层数学等价性，表明网络深度对应于数据同化中的时间分辨率。它提出了“最深学习”——一种连续层形式的神经网络，将学习问题表述为辛结构的两点边值问题，从而能够应用先进的数值方法，并通过哈密顿力学为反向传播提供原则性解释。

ABSTRACT

We formulate a strong equivalence between machine learning, artificial intelligence methods and the formulation of statistical data assimilation as used widely in physical and biological sciences. The correspondence is that layer number in the artificial network setting is the analog of time in the data assimilation setting. Within the discussion of this equivalence we show that adding more layers (making the network deeper) is analogous to adding temporal resolution in a data assimilation framework. How one can find a candidate for the global minimum of the cost functions in the machine learning context using a method from data assimilation is discussed. Calculations on simple models from each side of the equivalence are reported. Also discussed is a framework in which the time or layer label is taken to be continuous, providing a differential equation, the Euler-Lagrange equation, which shows that the problem being solved is a two point boundary value problem familiar in the discussion of variational methods. The use of continuous layers is denoted "deepest learning". These problems respect a symplectic symmetry in continuous time/layer phase space. Both Lagrangian versions and Hamiltonian versions of these problems are presented. Their well-studied implementation in a discrete time/layer, while respected the symplectic structure, is addressed. The Hamiltonian version provides a direct rationale for back propagation as a solution method for the canonical momentum.

研究动机与目标

• 建立多层神经网络与物理与生物科学中统计数据同化框架之间的基本等价性。
• 证明增加网络深度等价于在数据同化中提高时间分辨率，从而提升模型精度与信息传递能力。
• 提出“最深学习”——一种神经网络的连续层形式，揭示其为具有辛结构的两点边值问题。
• 证明哈密顿形式为反向传播作为求解共轭动量的方法提供了直接的理论基础。
• 提出变分退火作为在机器学习与数据同化中定位代价函数全局最小值的方法。

提出的方法

• 将机器学习的代价函数表述为统计数据同化问题，其中层索引对应于动力系统中的时间。
• 将离散层前馈网络映射为保持状态与动量相空间中辛结构的离散时间动力系统。
• 推导连续层极限，导出定义两点边值问题的微分方程（欧拉-拉格朗日方程）。
• 对连续层模型应用哈密顿与拉格朗日形式，揭示其底层的辛对称性与守恒律。
• 使用变分退火（VA）最小化作用量（代价函数），并通过拉普拉斯近似进行校正以提高精度。
• 在简单模型（如Lorenz96）上验证等价性，表明数据的信息含量而非仅规模，决定学习的成功。

实验结果

研究问题

• RQ1 神经网络的深度在数据同化框架中如何对应于时间分辨率？
• RQ2 深度网络的连续层极限能否表述为具有辛结构的两点边值问题？
• RQ3 哈密顿形式在为反向传播作为求解共轭动量的方法提供理论依据中起什么作用？
• RQ4 变分退火如何改进非线性、高维代价函数中全局最小值的搜索？
• RQ5 在深度网络中，数据的信息含量（而非仅数据量）在多大程度上决定了学习的成功？

主要发现

• 在深度学习与统计数据同化之间建立了强有力的数学等价性，网络中的层索引对应于动力系统中的时间。
• 增加网络深度等价于在数据同化中提高时间分辨率，从而能更准确地捕捉系统动力学。
• 连续层形式揭示深度学习是一个由欧拉-拉格朗日方程控制的两点边值问题。
• 连续模型的辛结构在时间/层离散化时确保数值稳定性，保持物理一致性。
• 哈密顿形式为反向传播作为计算优化过程中共轭动量的方法提供了严格的理论基础。
• 变分退火与拉普拉斯近似方法能有效定位代价函数的全局最小值，尤其在测量误差方差较大时表现更优。