[論文レビュー] Learning A Physical Long-term Predictor

Sébastien Ehrhardt, Áron Monszpart+2 more|arXiv (Cornell University)|Mar 1, 2017

Evolutionary Algorithms and Applications参考文献 22被引用数 38

ひとこと要約

この論文では、明示的な物理シミュレータに依存せずに、視覚入力からの機械的運動の長期予測をエンドツーエンドで行う単一の再帰的ニューラルネットワーク、MechaNetを提案する。物理法則の内部表現を学習し、予測分布を通じて不確実性をモデル化することで、物理パラメータが観測されていない状況では、真の物理パラメータを持つシミュレータを上回る性能を発揮するが、訓練範囲を超えた一般化は依然として限定的である。

ABSTRACT

Evolution has resulted in highly developed abilities in many natural intelligences to quickly and accurately predict mechanical phenomena. Humans have successfully developed laws of physics to abstract and model such mechanical phenomena. In the context of artificial intelligence, a recent line of work has focused on estimating physical parameters based on sensory data and use them in physical simulators to make long-term predictions. In contrast, we investigate the effectiveness of a single neural network for end-to-end long-term prediction of mechanical phenomena. Based on extensive evaluation, we demonstrate that such networks can outperform alternate approaches having even access to ground-truth physical simulators, especially when some physical parameters are unobserved or not known a-priori. Further, our network outputs a distribution of outcomes to capture the inherent uncertainty in the data. Our approach demonstrates for the first time the possibility of making actionable long-term predictions from sensor data without requiring to explicitly model the underlying physical laws.

研究の動機と目的

• 単一の深層ニューラルネットワークが、外部の物理シミュレータに依存せずに正確な長期的機械的予測を実現できるかを調査すること。
• ニューラルネットワークが視覚データからのみ物理法則を暗黙的に学習でき、物理的状態の間で一般化できるかを評価すること。
• 長期的な運動予測において、予測不確実性をモデル化することの有効性を評価すること。
• ニューラルネットワークによるパrameter推定後に外部シミュレータを用いるパイプライン手法と比較して、エンドツーエンド学習の有効性を検証すること。
• 標準的な物理法則と比較して、学習された物理的表現の一般化の限界を特定すること。

提案手法

• 再帰的ニューラルネットワーク（RNN）アーキテクチャを、中間の物理パrameter推定を回避して、入力動画フレームから直接物体の軌道を予測するように訓練する。
• 畳み込みニューラルネットワークが初期フレームからの空間的特徴を抽出し、その後RNNがその状態を時間的に発展させる。
• 予測分布を用いて不確実性を表現するため、ネットワークは将来的な位置の確率分布（ガウス分布または確率マップモデル）を出力する。
• 構造的インダクティブバイアス（局所的かつ空間的に均一な構造）をアーキテクチャに組み込むことで、明示的な教師信号なしに物理法則を模倣するソフトな事前分布を導入する。
• モデルは、傾斜角と摩擦係数が変化する立方体が斜面を滑り降りるシミュレーションの合成データで訓練される。
• 一般化能力を評価するために、徐々に長くなった動画シーケンス上で損失を計算する。

実験結果

リサーチクエスチョン

• RQ1 単一の深層ニューラルネットワークは、外部の物理シミュレータに依存せずに正確な長期的機械的予測を実現できるか？
• RQ2 ニューラルネットワークは、視覚データのみからどれほど物理法則を暗黙的に学習できるか？
• RQ3 学習時に観測されていない物理的状態の範囲に、学習済み表現はどれほど一般化できるか？
• RQ4 予測分布による不確実性のモデル化は、長期予測のロバストネスを向上させられるか？
• RQ5 ニューラルパラメータ推定後に外部シミュレータを用いるパイプライン手法と比較して、エンドツーエンド学習はどのように異なるか？

主な発見

• 摩擦係数や傾斜角などの物理パラメータが観測されていない、または事前知識がない状況では、MechaNetは真の物理パラメータを持つシミュレータを上回る性能を示す。
• 変動摩擦（S2シナリオ）の状況では、MechaNet4はパラメータが観測できないため失敗するSimNetを著しく上回る。
• より長いシーケンスで訓練することで長期予測の精度が向上し、全シーケンスで訓練されたMechaNet4はSimNetに比べて約20％高い性能を達成する。
• 不確実性の確率マップモデル（MechaNet4）は、ガウスモデル（MechaNet3）よりも低いパープレキシティを示しており、不確実性のキャリブレーションが優れている。
• すべてのネットワークが訓練範囲を超えて一般化する能力に乏しく、学習済み表現は標準的な物理法則ほど普遍的ではない。
• 不確実性のモデル化がなされていても、ネットワークの予測不確実性は時間の経過に伴い適切に増大し、予測の曖昧さが反映されている。