[論文レビュー] Discovering conservation laws from trajectories via machine learning

Seungwoong Ha, Hawoong Jeong|arXiv (Cornell University)|Feb 8, 2021

Model Reduction and Neural Networks参考文献 31被引用数 4

ひとこと要約

本稿では、新たなノイズ分散損失関数を用いて、グループ化された軌道データから保存量を発見する深層学習モデルであるConservNetを紹介する。内部グループ内分散を最小化するとともに、スパreading損失を用いて自明な定数解への収束を防ぐことで、ノイズやスパarsな状況下でも、シミュレーション系および実世界の二重振り子データにおいて、保存量を効果的に同定する。

ABSTRACT

Invariants and conservation laws convey critical information about the underlying dynamics of a system, yet it is generally infeasible to find them from large-scale data without any prior knowledge or human insight. We propose ConservNet to achieve this goal, a neural network that spontaneously discovers a conserved quantity from grouped data where the members of each group share invariants, similar to a general experimental setting where trajectories from different trials are observed. As a neural network trained with a novel and intuitive loss function called noise-variance loss, ConservNet learns the hidden invariants in each group of multi-dimensional observables in a data-driven, end-to-end manner. Our model successfully discovers underlying invariants from the simulated systems having invariants as well as a real-world double pendulum trajectory. Since the model is robust to various noises and data conditions compared to baseline, our approach is directly applicable to experimental data for discovering hidden conservation laws and further, general relationships between variables.

研究の動機と目的

• 動的系の軌道データから、事前の知識や人為的介入なしに保存則の自動発見を実現すること。
• 従来の手法が失敗するノイズ多発、スパars、グループ化された実験的データにおける隠れた不変量の同定という課題に対処すること。
• 生の軌道データからシンボリックな不変量を直接抽出する、データ駆動型でエンドツーエンドのフレームワークの構築。
• 現実世界の実験で一般的に見られるノイズ、不要変数、異なるデータ条件に対して頑健であることを保証すること。
• スケールの大きな違いを示す不変量を含む複数の不変量を、スケーラブルかつ一般化可能なアプローチで発見できること。

提案手法

• 各グループが共通の不変量を持つグループ化された軌道データ上で、エンドツーエンドに訓練されるニューラルネットワークアーキテクチャであるConservNetを提案。
• 内部グループ内分散を最小化することで不変量学習を促進する、新たな損失関数「ノイズ分散損失」を導入。
• ノイズ入力摂動下での出力分散を増加させるスパreading項を損失関数に組み込み、自明な定数解への収束を防ぐ。
• 摂動をシミュレートするためのノイズベクトル $\bm{\varepsilon}_{ij}$ を用い、その $L_2$-ノルムの上限 $R$ を用いてスパreading効果の強度を制御。
• モデル出力のターゲット分散を制御するハイパーパrameter $Q$ を導入し、自明でない不変量の発見を保証。
• 評価のため、モデル出力を真値不変量と一致させるための線形変換 $\hat{F}_{\theta} = aF_{\theta} + b$ を適用。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、システムの力学的性質についての事前知識なしに、グループ化された軌道データから保存量を発見できるか？
• RQ2 本手法は、現実世界の実験的条件下におけるノイズ、データスパars、および異なるグループサイズに対して、どの程度頑健か？
• RQ3 本モデルは、保存量を有する系とない系を区別でき、不変量の欠如を検出できるか？
• RQ4 複数の不変量が共存する状況、特にスケールが著しく異なる場合に、モデルはどの程度の性能を示すか？
• RQ5 ノイズ分散損失は、自明な定数解への収束をどの程度効果的に防ぎつつ、非自明な不変量学習を維持できるか？

主な発見

• ConservNetは、極端な状況（1本の長軌道のみ、または100本の短い試行のみ）を含む多様なデータ条件下でも、ピアソン相関 $\rho > 0.9$ を達成する。
• $(20,100)$ のデータ条件で学習した場合、ケプラー問題における角運動量を $R^2 = 0.99$ で正しく発見する。
• 角運動量と全エネルギーの間で10倍のスケール差がある場合でも、ConservNetは第二の不変量と強い相関（$\rho \approx 0.9$）を示す。
• ハイパーパrameter $Q$ および $R$ の値、およびさまざまなノイズノルム（$L_1$、$L_2$、$L_\infty$）の設定において、すべてのテスト設定で $\rho > 0.98$ を達成し、高い頑健性を示す。
• 真の不変量が存在しない状況では、ConservNetは顕著な過学習を示し、グループ内標準偏差が高くなるため、非保存系の信頼性のある検出が可能である。
• ノイズ分散損失は自明な解を効果的に防止しており、摂動下でも非定数で意味のある出力を維持できることが、モデルの性能から裏付けられている。