[论文解读] Automatic discrete differentiation and its applications.

Ai Ishikawa, Takaharu Yaguchi|arXiv (Cornell University)|May 21, 2019

Neural Networks and Applications被引用 1

一句话总结

本文提出了一种具有微分几何结构的深度能量基物理模型，该模型在离散时间下自然地强制执行能量守恒和质量守恒定律。通过引入一种自动离散微分算法，该模型使神经网络能够使用离散梯度法学习并保持物理定律，从而确保在离散计算环境中对物理系统的精确模拟。

ABSTRACT

Physical phenomena in the real world are often described by energy-based modeling theories, such as Hamiltonian mechanics or the Landau theory, which yield various physical laws. Recent developments in neural networks have enabled the mimicking of the energy conservation law by learning the underlying continuous-time differential equations. However, this may not be possible in discrete time, which is often the case in practical learning and computation. Moreover, other physical laws have been overlooked in the previous neural network models. In this study, we propose a deep energy-based physical model that admits a specific differential geometric structure. From this structure, the conservation or dissipation law of energy and the mass conservation law follow naturally. To ensure the energetic behavior in discrete time, we also propose an automatic discrete differential algorithm that enables neural networks to employ the discrete gradient method.

研究动机与目标

• 为解决现有神经网络在离散时间下运行时难以保持物理定律（尤其是能量和质量守恒）的局限性。
• 开发一种具有内在微分几何结构的深度能量基物理模型，使守恒定律自然涌现。
• 设计一种自动离散微分算法，使神经网络能够应用离散梯度法以实现对物理系统的精确模拟。
• 将神经网络建模从能量守恒扩展至此前在先前框架中被忽略的其他物理定律。

提出的方法

• 该模型利用一种内在编码物理守恒定律（如能量和质量守恒）的微分几何时结构构建。
• 提出一种自动离散微分算法，用于在离散时间中计算导数，同时保持系统的几何特性。
• 采用离散梯度法，以确保学习到的动力学尊重能量的守恒或耗散。
• 该框架将神经网络与连续时间微分方程相结合，将其适配于离散时间计算，同时保持物理一致性。
• 该方法支持神经网络的端到端训练，使其能够从数据中学习底层物理定律，即使在离散计算环境中亦可实现。

实验结果

研究问题

• RQ1 如何设计神经网络，使其在离散时间计算中保持能量和质量守恒定律？
• RQ2 何种微分几何时结构能够使物理守恒定律在深度学习模型中自然涌现？
• RQ3 能否开发一种自动离散微分算法，以支持神经网络训练中的离散梯度法？
• RQ4 如何将能量守恒以外的物理定律整合到基于神经网络的物理建模中？

主要发现

• 由于其内在的微分几何结构，所提出的模型自然地强制执行能量守恒和质量守恒定律。
• 自动离散微分算法成功支持了离散梯度法，确保了在离散时间模拟中的物理一致性。
• 该框架不仅限于能量守恒，还整合了此前在神经网络模型中被忽略的其他物理定律。
• 该方法使神经网络即使在离散时间下运行，也能学习并保持物理定律，从而克服了先前方法的关键局限。