[論文レビュー] Which priors matter? Benchmarking models for learning latent dynamics

Aleksandar Botev, Andrew Jaegle+3 more|arXiv (Cornell University)|Nov 9, 2021

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

本論文は、高次元観測から潜在的ダイナミクスを学ぶために物理的事前知識（ハミルトニアンおよびラグランジュアン力学を含む）を組み込むモデルを厳密に評価するための、17の多様な物理的ダイナミクスデータセットのベンチマークを導入する。これらの事前知識には理論的魅力があるが、本研究では連続的かつ時間反転可能なダイナミクスを有する標準的なニューラルODEが、物理的制約を組み込んだモデルを上回ることを発見した。連続性と時間反転性が、長時間予測における一般化性能において最も重要なインダクティブバイアスであることが明らかになった。

ABSTRACT

Learning dynamics is at the heart of many important applications of machine learning (ML), such as robotics and autonomous driving. In these settings, ML algorithms typically need to reason about a physical system using high dimensional observations, such as images, without access to the underlying state. Recently, several methods have proposed to integrate priors from classical mechanics into ML models to address the challenge of physical reasoning from images. In this work, we take a sober look at the current capabilities of these models. To this end, we introduce a suite consisting of 17 datasets with visual observations based on physical systems exhibiting a wide range of dynamics. We conduct a thorough and detailed comparison of the major classes of physically inspired methods alongside several strong baselines. While models that incorporate physical priors can often learn latent spaces with desirable properties, our results demonstrate that these methods fail to significantly improve upon standard techniques. Nonetheless, we find that the use of continuous and time-reversible dynamics benefits models of all classes.

研究の動機と目的

• 高次元の視覚的データから潜在的ダイナミクスを学ぶ際に、ハミルトニアンおよびラグランジュアン形式といった物理的インスパイラションに基づくインダクティブバイアスが、性能を向上させるかを評価すること。
• 物理的事前知識を利用すると主張するモデル間での公平な比較を可能にするための標準化されたベンチマークの欠如という課題を解決すること。
• 連続的ダイナミクス、時間反転性など、アーキテクチャ上のインダクティブバイアスのうち、長時間予測において最も効果的なものが何かを同定すること。
• 画像からダイナミクスを学ぶ分野における進展を加速させるために、再現可能でオープンソースのベンチマークスイートを公開すること。
• 物理的制約付きモデルの一般化性能が、トロイ物理から3D環境に至るまで多様な力学系にわたってどのように変化するかを評価すること。

提案手法

• マススプリング系、分子動力学、3Dカメラの動き、ゼロサムゲームを含む多様な物理的系をカバーする17のデータセットからなるベンチマークスイートを設計した。
• ハミルトニアングラフネットワーク（HGN）、ラグランジュアングラフネットワーク（LGN）、ニューラルODE、再帰的ネットワーク、自己回帰モデルを含む複数のモデルを実装・評価した。
• 長時間予測の一般化性能を測定するために、VPT（Video Prediction Trajectory）スコアを用い、学習後1000ステップまでを含む予測軌道を外挿した。
• すべてのモデルとデータセットに対して一貫した学習および評価プロトコルを適用し、公平な比較を実現した。
• 時間反転性をインダクティブバイアスとして評価するために、前向きおよび後向きの時間予測を学習させた。
• データ生成と評価のための共通フレームワークを採用し、コードとデータセットをオープンソース化して再現性を確保した。

実験結果

リサーチクエスチョン

• RQ1 ハミルトニアンまたはラグランジュアン事前知識を組み込んだモデルは、画像からの潜在的ダイナミクス学習において、標準的なベースラインを顕著に上回るか？
• RQ2 連続性、時間反転性、エネルギー保存など、どのインダクティブバイアスが長時間予測において最も重要か？
• RQ3 物理的制約付きモデルは、単純な系から複雑な系に至るまで、多様な力学系においてどのように性能を示すか？
• RQ4 実世界に類似した視覚的観測と既知の運動方程式を用いて、ハミルトニアン多様体仮説を実証的に検証できるか？
• RQ5 標準モデルと比較して、物理的事前知識を組み込むことで、長時間予測の分散はどの程度低減されるか？

主な発見

• ハミルトニアンまたはラグランジュアン形式を組み込んだモデルは、大多数のタスクで標準的なニューラルODEやベースラインを顕著に上回ることはなかった。
• すべてのモデルクラスにおいて最も効果的なインダクティブバイアスは、ダイナミクスの連続性と時間反転性であり、これにより長時間予測がより安定的かつ一貫性のあるものとなった。
• 物理的制約付きモデルの中で、HGN（ハミルトニアングラフネットワーク）はLGN（ラグランジュアングラフネットワーク）よりも一貫性があり、外挿の分散が低く抑えられていた。LGNはより不安定で計算コストも高かった。
• 最も複雑なデータセット（MD-16）では、いかなるモデルも信頼できる長時間外挿予測を達成できず、画像からの複雑な分子動力学のモデリングにおける現在の限界が示された。
• VPTスコアが1.0に近い値を示したのは、単純なデータセット（例：マススプリング、2体系）に限られ、これらの系は少なくとも1つのモデルによって効果的に解けているが、より複雑な系は依然として挑戦的である。
• 理論的利点があるとはいえ、ハミルトニアン／ラグランジュアン形式の直接的な組み込みは、連続的ダイナミクスとリーマン学習を備えた標準的なニューラルODEに比べて、実用的な利点をもたらしていない。