[論文レビュー] Learning to Represent Mechanics via Long-term Extrapolation and Interpolation

Sébastien Ehrhardt, Áron Monszpart+2 more|arXiv (Cornell University)|Jun 6, 2017

Model Reduction and Neural Networks参考文献 18被引用数 8

ひとこと要約

本稿では、真の状態変数にアクセスせずに視覚的観測からのみ物理的状態を暗黙的に学習する再帰的ニューラルネットワークを提案し、特に3次元のボウル上を転がるボールの機械的運動について、長期的な外挿と内挿を高精度で行うことを可能にした。ベースラインの物理モデルを明示的に使用する手法と比較して競争力ある性能を示した一方で、学習された分散を用いた予測不確実性の推定も可能である。

ABSTRACT

While the basic laws of Newtonian mechanics are well understood, explaining a physical scenario still requires manually modeling the problem with suitable equations and associated parameters. In order to adopt such models for artificial intelligence, researchers have handcrafted the relevant states, and then used neural networks to learn the state transitions using simulation runs as training data. Unfortunately, such approaches can be unsuitable for modeling complex real-world scenarios, where manually authoring relevant state spaces tend to be challenging. In this work, we investigate if neural networks can implicitly learn physical states of real-world mechanical processes only based on visual data, and thus enable long-term physical extrapolation. We develop a recurrent neural network architecture for this task and also characterize resultant uncertainties in the form of evolving variance estimates. We evaluate our setup to extrapolate motion of a rolling ball on bowl of varying shape and orientation using only images as input, and report competitive results with approaches that assume access to internal physics models and parameters.

研究の動機と目的

• ニューラルネットワークが、手作業で設計された状態空間に依存せずに、視覚的観測からのみ物理的状態表現を暗黙的に学習できるかどうかを調査すること。
• 画像入力のみを用いて、ボールが3次元ボウルを転がるような複雑な機械的系の長期的物理的外挿を可能にすること。
• 学習された分散を用いて、学習中にガウス観測モデルにおける分散を明示的にモデル化することで、予測の不確実性を推定すること。
• 初期状態と最終状態の両方を条件として与えることで、内挿を拡張し、フォワードパスによる軌道再構築を可能にすること。
• 平面運動を超えた、結合された線形運動量と角運動量のダイナミクスを含む、より複雑な領域における性能を評価すること。

提案手法

• 時間経過に伴い更新される隠れ特徴ベクトルに、システムの物理的状態を暗黙的に符号化する再帰的ニューラルネットワーク（RNN）アーキテクチャを設計する。
• 機械的システムのシミュレートされた動画シーケンスに対して、将来の位置と速度に監視信号を用いて、時間遡及バックプロパゲーションによるエンドツーエンドの学習を実施する。
• 将来の状態にガウス分布を予測する確率的出力ヘッドを統合し、学習された分散を用いて不確実性推定を可能にする。
• 初期状態と最終状態の両方を入力として使用することで、内挿用にモデルを拡張し、全軌道のフォワードパス再構築を可能にする。
• 多様なボウル形状、方向、初期条件を有する訓練データを生成するために、動画ベースのシミュレーション環境を用いる。
• 汎化性能を向上させるために、カリキュラム学習とデータ拡張を適用する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークは、状態変数への明示的アクセスなしに、視覚的観測からのみ意味的な物理的状態表現を学習できるか？
• RQ2 長期予測の監視信号を用いたエンドツーエンド学習は、手作業で設計された状態に依存するモデルと比較して、より優れた汎化性能を達成できるか？
• RQ3 特に分布外の状況において、モデルは予測の不確実性を効果的に推定できるか？
• RQ4 同じアーキテクチャが、最小限の構造的変更で外挿と内挿の両方を実行できるか？
• RQ5 ローリング運動を伴う3次元ボウル上での結合ダイナミクスを有する複雑な機械的系において、モデルの性能はいかがなものか？

主な発見

• 提案手法は、真の状態情報にアクセスするNPE++モデルと同等の長期的外挿性能を達成した。例えば、ボウル実験ではT=40における位置のL2誤差が1.02にとどまった。
• モデルは未学習のシナリオ、例えば「楕円ノーテクスチャ」ケースに対しても一般化でき、スピン運動の訓練なしに角速度を正確に推定した。
• 角速度を予測出力として組み込むことで性能が向上した一方で、NPE++の性能は劣化した。これは、モデルがより強固な内部表現を学習していることを示唆している。
• 学習された分散による不確実性推定は、曖昧な状況や分布外の状況において、予測品質の向上に寄与した。
• 初期状態と最終状態の両方を入力として使用する内挿設定により、運動の曖昧さが低減され、楕円タスクではT=40におけるL2誤差が0.65にまで低下し、PhysNet（1.35 L2誤差）を上回った。
• モデルは視覚的変化や複雑なダイナミクスに対して頑健であり、3次元ボウルシナリオにおける結合された線形運動量と角運動量を効果的にモデル化した。