[論文レビュー] Benchmarking Energy-Conserving Neural Networks for Learning Dynamics from Data

Yaofeng Desmond Zhong, Biswadip Dey+1 more|arXiv (Cornell University)|Dec 3, 2020

Machine Learning in Materials Science被引用数 7

ひとこと要約

本論文は、時系列データから物理的ダイナミクスを学習するための10種類のエネルギー保存型ニューラルネットワークモデルをベンチマークし、明示的または暗黙的な制約を伴うハミルトニアンおよびラグランジュアンニューラルネットワークに焦点を当てる。CLNNおよびCHNNは、明示的制約の強制と安定な質量行列パラメータ化のおかげで、予測精度とデータ効率の両面で他のモデルを上回り、特にマルチペンドulumおよびジャイロスコープ系で顕著である。

ABSTRACT

The last few years have witnessed an increased interest in incorporating physics-informed inductive bias in deep learning frameworks. In particular, a growing volume of literature has been exploring ways to enforce energy conservation while using neural networks for learning dynamics from observed time-series data. In this work, we survey ten recently proposed energy-conserving neural network models, including HNN, LNN, DeLaN, SymODEN, CHNN, CLNN and their variants. We provide a compact derivation of the theory behind these models and explain their similarities and differences. Their performance are compared in 4 physical systems. We point out the possibility of leveraging some of these energy-conserving models to design energy-based controllers.

研究の動機と目的

• 10種類の最近のエネルギー保存型ニューラルネットワークモデルの性能を、軌道データからの物理的ダイナミクス学習の観点から評価・比較すること。
• 明示的制約と暗黙的制約の両方の強制が、モデルの精度、安定性、データ効率に与える影響を調査すること。
• 角度に配慮した設計および構造化されたラグランジュアン／ハミルトニアン形式が、学習性能に与える影響を評価すること。
• これらのモデルが物理的系におけるエネルギーベースの制御系設計にどう貢献できるかを検討すること。

提案手法

• ハミルトニアンまたはラグランジュアン力学に基づく10種類のニューラルネットワークモデル（HNN、LNN、DeLaN、SymODEN、CHNN、CLNNおよびその変種）の理論的基盤を調査・導出する。
• 時系列軌道データを用いて、4つの物理的系（1ペンドulum、2ペンドulum、4ペンドulum、3Dジャイロスコープ）に対してモデルを実装・評価する。
• ラグランジュアンまたはハミルトニアン関数の数学的形をニューラルネットワークの計算グラフに反映させることで、エネルギー保存を強制する。
• CLNNおよびCHNNでは、システム固有の運動学的制約をネットワークアーキテクチャに直接埋め込むことで、明示的制約の強制を実施する。
• データ拡張と異なるトレーニングセットサイズを用いてデータ効率を評価し、長期予測およびエネルギー保存性を評価する。
• モデルの安定性と精度を定量化するために、時間経過に伴う真のエネルギーのずれと相対的状態予測誤差を追跡する。

実験結果

リサーチクエスチョン

• RQ1 異なるエネルギー保存型ニューラルネットワークアーキテクチャは、物理的系の長期的ダイナミクス予測においてどのように比較されるか？
• RQ2 明示的制約と暗黙的制約の両方の強制が、モデルの性能と学習安定性に与える影響は何か？
• RQ3 角度に配慮した設計は、マルチボディ系において学習効率と精度をどの程度向上させるか？
• RQ4 構造化されたラグランジュアン／ハミルトニアン形式は、2ペンドulumや4ペンドulumのようなカオス的系において、データ効率と一般化性能を向上させるか？
• RQ5 これらのモデルは真の物理的エネルギーを時間経過でどの程度保持しているか？エネルギー保存性と予測精度の関係は何か？

主な発見

• CLNNおよびCHNNは、すべての系において最良の長期的予測性能を達成し、特にカオス的である2ペンドulumおよび4ペンドulum系で顕著に優れた性能を示した。
• 明示的制約強制（CLNN、CHNN）を採用したモデルは、暗黙的モデルと比較して顕著に低いエネルギーのずれを示し、これはより高い予測精度と相関していた。
• データ効率はCLNNおよびCHNNが最も高く、2ペンドulum系においても10件のトレーニング軌道のみで他のモデルを上回った。
• 角度に配慮した設計は、回転自由度を有する系（例：マルチペンドulum）において学習性能を向上させた。
• 質量行列を暗黙的に導出するモデル（例：LNN、LNN-Angle）は、不適切なパラメータ化に起因し、学習安定性を確保するための対角正則化が必要だった。
• エネルギー保存を強制したにもかかわらず、すべてのモデルが時間経過とともに真の定常エネルギーからずれを示したが、CLNNおよびCHNNが最も小さなずれを示した。