[論文レビュー] Noether Networks: Meta-Learning Useful Conserved Quantities

Ferran Alet, Dylan Doblar+4 more|arXiv (Cornell University)|Dec 6, 2021

Time Series Analysis and Forecasting参考文献 27被引用数 6

ひとこと要約

この論文では、逐次予測タスクにおける帰納的バイアスとして保存量を発見・強制するメタラーニングフレームワーク「ノネルネットワーク」を紹介する。予測関数内でメタ学習された保存則損失を最適化することにより、特に長時間予測の動画予測において一般化性能と予測品質が向上し、生データから既知の物理的保存則を回復することができる。

ABSTRACT

Progress in machine learning (ML) stems from a combination of data availability, computational resources, and an appropriate encoding of inductive biases. Useful biases often exploit symmetries in the prediction problem, such as convolutional networks relying on translation equivariance. Automatically discovering these useful symmetries holds the potential to greatly improve the performance of ML systems, but still remains a challenge. In this work, we focus on sequential prediction problems and take inspiration from Noether's theorem to reduce the problem of finding inductive biases to meta-learning useful conserved quantities. We propose Noether Networks: a new type of architecture where a meta-learned conservation loss is optimized inside the prediction function. We show, theoretically and experimentally, that Noether Networks improve prediction quality, providing a general framework for discovering inductive biases in sequential problems.

研究の動機と目的

• 逐次機械学習タスクにおける有用な帰納的バイアスを自動で発見する課題に対処すること。
• ネーターの定理を活用し、対称性を観測可能な保存量に変換してメタラーニングに応用すること。
• 推論時に学習された保存則を強制することで、逐次モデルの一般化性能と予測品質を向上させること。
• 対称性をハードコーディングするか、物理法則の事前知識を必要とせずに、帰納的バイアスを発見する一般化可能なフレームワークを提供すること。
• 保存量が予測を低次元多様体に制約する有効な正則化子として機能することを示すこと。

提案手法

• トレーニング時および推論時において、予測関数内にメタ学習された保存則損失を最適化するニューラルアーキテクチャを提案する。
• 保存則損失を $\mathcal{L}(x_0, \tilde{x}_{1:T}; g_\phi) = \sum_{t=1}^T |g_\phi(x_0) - g_\phi(\tilde{x}_t)|^2$ とパラメータ化し、時間ステップ間で $g_\phi$ の不変性を強制する。
• 推論時に保存則損失の微調整を可能にするタイルティングフレームワークを用い、バイアスの一般化ギャップを解消する。
• 未観測の摂動に対して不変性を促進する自己教師付き目的を通じて、埋め込み $g_\phi$ をメタ学習する。
• シンボリックな物理系と生ピクセルの動画データの両方に対して手法を適用し、非構造的入力から保存量を発見可能にする。
• 次元推定とモンテカルロサンプリングを用いて、データから保存量の数を予測する。

実験結果

リサーチクエスチョン

• RQ1 メタ学習された保存量は、逐次予測モデルにおける有効な帰納的バイアスとして機能するか？
• RQ2 事前知識なしに、生データから既知の物理的保存則（例：運動量、エネルギー）をノネルネットワークが回復できるか？
• RQ3 学習された保存則を強制することで、特に長時間予測の動画予測における一般化性能が向上するか？
• RQ4 推論時に保存則損失を内部で最適化することで、補助損失を用いた標準的なトレーニングと比較してモデル性能にどのような影響を与えるか？
• RQ5 データから発見された保存量は、実世界の動画データセットにおいて予測品質をどの程度向上できるか？

主な発見

• ノネルネットワークは、ネットワークの内部表現のみを用いて、生物理シミュレーションデータから既知の保存則（例：線形運動量、エネルギー）を成功裏に回復した。
• 動画予測ベンチマークにおいて、保存則制約なしのベースラインモデルと比較して、ノネルネットワークは予測品質にわずかだが一貫した向上を示した。特に長時間予測において顕著であった。
• 理論的分析により、保存則の強制が有効な正則化子として機能し、予測を低次元多様体に制約することで一般化誤差を低減することが示された。
• 推論時に保存則損失をイン・サイトで微調整することで、一般化ギャップを解消する点で、標準的な補助損失トレーニングを上回る性能を示した。
• フレームワークは生ピクセル入力へも一般化可能であり、軌道のセグメンテーションやシステムダイナミクスの事前知識が不要な状態で保存量を発見可能である。
• 観測データのみから複雑な力学系における保存量を同定できるという点で、科学的発見の可能性を示した。