[論文レビュー] Automatic discrete differentiation and its applications.

Ai Ishikawa, Takaharu Yaguchi|arXiv (Cornell University)|May 21, 2019

Neural Networks and Applications被引用数 1

ひとこと要約

本稿では、離散時間におけるエネルギー保存則および質量保存則を自然に満たす、微分幾何的構造を有する深層エネルギーに基づく物理モデルを提案する。自動離散微分アルゴリズムを導入することで、ニューラルネットワークが離散勾配法を用いて物理法則を学習・維持可能となり、離散計算環境下でも物理系の正確なシミュレーションを実現する。

ABSTRACT

Physical phenomena in the real world are often described by energy-based modeling theories, such as Hamiltonian mechanics or the Landau theory, which yield various physical laws. Recent developments in neural networks have enabled the mimicking of the energy conservation law by learning the underlying continuous-time differential equations. However, this may not be possible in discrete time, which is often the case in practical learning and computation. Moreover, other physical laws have been overlooked in the previous neural network models. In this study, we propose a deep energy-based physical model that admits a specific differential geometric structure. From this structure, the conservation or dissipation law of energy and the mass conservation law follow naturally. To ensure the energetic behavior in discrete time, we also propose an automatic discrete differential algorithm that enables neural networks to employ the discrete gradient method.

研究の動機と目的

• 離散時間で動作する既存のニューラルネットワークが、特にエネルギー保存則および質量保存則を保持できないという限界に対処すること。
• 物理的保存則が自然に出現する、内在的な微分幾何的構造を有する深層エネルギーに基づく物理モデルを構築すること。
• 離散勾配法を適用できるようにするため、ニューラルネットワークが利用可能な自動離散微分アルゴリズムを設計すること。
• 従来のフレームワークで無視されてきた物理法則を、エネルギー保存則の超え、ニューラルネットワークベースの物理モデリングに統合すること。

提案手法

• 物理的保存則（エネルギー保存則、質量保存則など）を内在的に符号化する微分幾何的構造を用いてモデルを構築する。
• 離散時間における導関数を計算するための自動離散微分アルゴリズムを提案し、システムの幾何的性質を保持する。
• 学習された力学がエネルギーの保存または散逸を尊重することを保証するために、離散勾配法を採用する。
• ニューラルネットワークと連続時間の微分方程式を統合し、物理的一致性を維持したまま離散時間計算に適応する。
• エンドツーエンドの学習を可能にするフレームワークを提供し、離散計算環境下でもデータから物理法則を学習・維持できる。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークは、どのようにして離散時間計算においてエネルギー保存則および質量保存則を維持できるように設計できるか？
• RQ2 どのような微分幾何的構造が、深層学習モデルにおいて物理的保存則が自然に出現するのを可能にするか？
• RQ3 ニューラルネットワークの学習において離散勾配法を支援する自動離散微分アルゴリズムを開発できるか？
• RQ4 エネルギー保存則を超える物理法則は、どのようにニューラルネットワークベースの物理モデリングに統合できるか？

主な発見

• 提案されたモデルは、内在的な微分幾何的構造のおかげで、エネルギー保存則および質量保存則を自然に満たす。
• 自動離散微分アルゴリズムにより、離散勾配法が成功裏に実装され、離散時間シミュレーションにおける物理的一致性が保証された。
• フレームワークはエネルギー保存則を超えて、従来のニューラルネットワークモデルで無視されてきた他の物理法則を統合できる。
• 本手法により、離散時間で動作するニューラルネットワークで物理法則を学習・維持できるようになり、従来のアプローチの主な限界を克服した。