[論文レビュー] Deconstructing the Inductive Biases of Hamiltonian Neural Networks

Nate Gruver, Marc Finzi+2 more|arXiv (Cornell University)|Feb 10, 2022

Model Reduction and Neural Networks被引用数 14

ひとこと要約

この論文はハミルトニアンニューラルネットワーク（HNNs）を解体し、その優れた一般化性能がエネルギー保存則やシンプレクティック構造に起因するのではなく、直接的に加速度をモデル化する暗黙の2次構造によるものであることを明らかにする。この2次構造を分離・適用したニューラルODE（NODE + SO）は、保存則を満たす系・満たさない系の両方でHNNを上回り、複雑なMuJoCo環境でも同様の結果を示す。また、より単純で計算効率が良い。

ABSTRACT

Physics-inspired neural networks (NNs), such as Hamiltonian or Lagrangian NNs, dramatically outperform other learned dynamics models by leveraging strong inductive biases. These models, however, are challenging to apply to many real world systems, such as those that don't conserve energy or contain contacts, a common setting for robotics and reinforcement learning. In this paper, we examine the inductive biases that make physics-inspired models successful in practice. We show that, contrary to conventional wisdom, the improved generalization of HNNs is the result of modeling acceleration directly and avoiding artificial complexity from the coordinate system, rather than symplectic structure or energy conservation. We show that by relaxing the inductive biases of these models, we can match or exceed performance on energy-conserving systems while dramatically improving performance on practical, non-conservative systems. We extend this approach to constructing transition models for common Mujoco environments, showing that our model can appropriately balance inductive biases with the flexibility required for model-based control.

研究の動機と目的

• ハミルトニアンニューラルネットワーク（HNNs）における一般化性能の向上に寄与するインダクティブバイアスを特定すること。
• シンプレクティック構造やエネルギー保存則がHNNの成功の主因であるという一般的な認識に疑問を呈すること。
• HNNsが示す性能の利点を維持しながら、ロボット制御環境のような非保存則系の実世界のシステムにも適用可能な簡素化されたモデルの開発。
• HNNが従来、性能を発揮しない複雑なMuJoCo歩行タスクにおいて、提案手法の評価。
• 不要なインダクティブバイアスを除去することで、モデルベース強化学習における一般化性能と計算効率が向上することの証明。

提案手法

• HNNsを4つの核心的インダクティブバイアス（ODE形式、2次構造、エネルギー保存、シンプレクティック性）に分解する。
• 各インダクティブバイアスを体系的に除去することで、2次構造がモデル性能に与える寄与を特定する。
• エネルギー保存則やシンプレクティック性を強制しないが、速度の変化を通じて加速度を明示的にモデル化する修正版ニューラルODE（NODE + SO）を構築する。
• トロイシステム（例：減衰付き単振子）と複雑なMuJoCo環境の両方で、NODE + SOモデルを訓練・評価する。
• 複数のシードで軌道予測のL2損失を用いて、標準NODE、HNN、SymODENと性能を比較する。
• 固定ステップのODE積分を用いて、NODEベースラインが標準的なモデルベース強化学習モデルを適切に反映していることを保証する。

実験結果

リサーチクエスチョン

• RQ1 HNNsが標準的なニューラルODEよりも一般化性能が向上する主な要因となるインダクティブバイアスは何か？
• RQ2 エネルギー保存則やシンプレクティック構造は、非保存則系におけるHNNスの性能に顕著に寄与しているか？
• RQ3 2次構造のみを保持する簡素化されたモデルが、保存則系・非保存則系の両方の力学系でHNNを上回ることができるか？
• RQ4 モデルベース強化学習で一般的に用いられる複雑なMuJoCo制御環境において、HNNとNODE + SOの性能はどのように比較されるか？
• RQ5 エネルギー保存則のような強いインダクティブバイアスを除去することで、実用的なロボットアプリケーションにおける一般化性能とスケーラビリティが向上するか？

主な発見

• HNNsにおける一般化性能の向上の主な要因は、エネルギー保存則やシンプレクティック構造ではなく、速度の変化を通じて加速度を暗黙的にモデル化する2次構造である。
• NODE + SOはエネルギー保存系（例：減衰なし単振子）ではHNNと同等またはそれを上回り、非保存則系（例：減衰付き単振子）ではHNNを顕著に上回る。
• MuJoCo環境では、HNNは標準NODEやNODE + SOに比べて性能が劣っており、ハミルトニアンバイアスが複雑で非保存則系のシステムにおいて学習と一般化を妨げていることが示された。
• 評価されたすべてのMuJoCoタスクにおいて、NODE + SOはHNNを上回る性能を発揮し、誤差が低く、サンプル効率も高い。これは、強いインダクティブバイアスが常に優れた性能をもたらすわけではないことを示している。
• アブレーションスタディにより、2次構造が保持されていれば、エネルギー保存則やシンプレクティック性を除去しても保存則系では性能が低下しないことが確認された。
• この手法はHNNやSymODENよりも計算効率が高く、パラメータ数と計算量のわずか一部で同等またはより優れた結果を達成している。