[論文レビュー] Learning Visual Predictive Models of Physics for Playing Billiards

Katerina Fragkiadaki, Pulkit Agrawal+2 more|arXiv (Cornell University)|Nov 23, 2015

Generative Adversarial Networks and Image Synthesis参考文献 27被引用数 113

ひとこと要約

本論文は、原始的な視覚入力から物理的ダイナミクスを学習するオブジェクト中心の視覚予測モデルを提案しており、エージェントが内部シミュレーション（『視覚的想像』）を通じて行動を計画することを可能にする。固定されたグリーンス（見取り図）を用いて個々のオブジェクトの軌道をモデル化することで、並進不変性のあるダイナミクス予測を実現し、タスク特有の監視なしにブリッジスの行動計画においてフレーム中心のベースラインを上回り、25ピクセル以内のターゲット位置へのヒット確率が56%に達する。

ABSTRACT

The ability to plan and execute goal specific actions in varied, unexpected settings is a central requirement of intelligent agents. In this paper, we explore how an agent can be equipped with an internal model of the dynamics of the external world, and how it can use this model to plan novel actions by running multiple internal simulations ("visual imagination"). Our models directly process raw visual input, and use a novel object-centric prediction formulation based on visual glimpses centered on objects (fixations) to enforce translational invariance of the learned physical laws. The agent gathers training data through random interaction with a collection of different environments, and the resulting model can then be used to plan goal-directed actions in novel environments that the agent has not seen before. We demonstrate that our agent can accurately plan actions for playing a simulated billiards game, which requires pushing a ball into a target position or into collision with another ball.

研究の動機と目的

• タスク特有の監視なしに、これまでに見たことのない新しい環境において、目的指向の行動を計画できるエージェントを実現すること。
• 組み合わせ的オブジェクト構造や幾何的変化を扱えるように、原始的な視覚入力から外部世界の一般化可能な動的モデルを直接学習すること。
• 物理法則における並進不変性を、オブジェクト中心の視覚的グリーンスからオブジェクトダイナミクスをモデル化することで活用すること。
• 複雑な物理的環境における効果的な計画を可能にするために、視覚的想像（行動結果の内部シミュレーション）を可能にすること。
• タスク特異的監視や真値報酬信号なしに、自己教師付きの相互作用データのみを用いて、未知の環境やタスクへの一般化を実証すること。

提案手法

• 本手法はオブジェクト中心（OC）予測を用い、各オブジェクトの将来状態がそのオブジェクトを中心とした視覚的グリーンスから独立してモデル化され、並進不変性が強制される。
• 長期間にわたるオブジェクト軌道の記憶を維持するために、視覚エンコーダーを備えた再帰的ニューラルネットワーク（LSTM）が用いられる。
• モデルは20ステップ先の各ボールの将来速度を予測し、そこから完全な将来の世界状態が再構築される。
• 行動計画は視覚的想像によって実行される：複数のシミュレートされた行動シーケンスが内部で実行され、ターゲットに最も近づく力を選択する。
• システムは多様なブリッジス環境とのランダムな相互作用を通じて訓練され、明示的な報酬や目的の監視なしにダイナミクスを学習する。
• 計画における最適な力を効率的に探索するために、CMA-ES最適化手法が用いられる。

実験結果

リサーチクエスチョン

• RQ1 原始的な画像で訓練された視覚予測モデルは、未確認の環境に一般化可能な物理的ダイナミクスを学習できるか？
• RQ2 視覚的グリーンスを用いたオブジェクト中心のアプローチは、フレーム中心のモデルと比較して、物理法則における並進不変性をどの程度効果的に強制できるか？
• RQ3 学習されたダイナミクスに基づく視覚的想像は、動くターゲットボールを狙うような複雑なタスクの計画に有効に機能できるか？
• RQ4 このようなモデルは、目的特異的監視や真値報酬信号なしに、どの程度計画を実行できるか？
• RQ5 視覚的グリーンスに1つのオブジェクトしか含まないような高視覚的曖昧性下でも、長時間予測においてモデルはどの程度の性能を示すか？

主な発見

• オブジェクト中心（OC）モデルは、ターゲット位置の25ピクセル以内にボールをヒットさせる確率が56%に達し、フレーム中心（FC）モデルの39%を顕著に上回った。
• OCモデルはターゲットから50ピクセル以内の予測で85%の正確さを示したのに対し、FCモデルは60%であった。
• LSTMの長期間記憶のおかげで、視覚的グリーンスがほとんど情報を持たない場合でも、大規模で複雑な環境におけるボール軌道の予測に成功した。
• LSTMがなければ、モデルは物理的でない運動（方向の逆転など）を生成し、安定したダイナミクス予測には再帰的記憶が必要であることが示された。
• 訓練中に見られなかった新しい環境にモデルは一般化し、目的特異的監視なしに正確な行動計画を実行できた。
• 内部シミュレーションによる視覚的想像により、静的および動的ターゲットタスクの両方で効果的な力の選択が可能であり、真値物理シミュレータとの比較によって検証された。