[論文レビュー] Learning to Perform Physics Experiments via Deep Reinforcement Learning

Misha Denil, Pulkit Agrawal+4 more|arXiv (Cornell University)|Nov 6, 2016

Reinforcement Learning in Robotics参考文献 32被引用数 55

ひとこと要約

この論文は、深層強化学習エージェントが、シミュレートされた環境で質量や物体数といった隠れた物理的性質を推定するために、物体を押すや倒すといった物理実験を学習できることを示している。エージェントは、情報の獲得と相互作用のコストの両方を考慮した、コストに配慮した適応的戦略を発展させることで、ランダムな方策を上回る性能を発揮する。

ABSTRACT

When encountering novel objects, humans are able to infer a wide range of physical properties such as mass, friction and deformability by interacting with them in a goal driven way. This process of active interaction is in the same spirit as a scientist performing experiments to discover hidden facts. Recent advances in artificial intelligence have yielded machines that can achieve superhuman performance in Go, Atari, natural language processing, and complex control problems; however, it is not clear that these systems can rival the scientific intuition of even a young child. In this work we introduce a basic set of tasks that require agents to estimate properties such as mass and cohesion of objects in an interactive simulated environment where they can manipulate the objects and observe the consequences. We found that state of art deep reinforcement learning methods can learn to perform the experiments necessary to discover such hidden properties. By systematically manipulating the problem difficulty and the cost incurred by the agent for performing experiments, we found that agents learn different strategies that balance the cost of gathering information against the cost of making mistakes in different situations.

研究の動機と目的

• 人工エージェントが、質量や接着性といった隠れた物理的性質を推定するために物理実験を学習できるかどうかを調査すること。
• 物理的性質に関する情報を収集する際、相互作用のコストと誤りのリスクの両方をどのようにバランスさせるかを明らかにすること。
• 物理的性質の推定における正確性と効率性の観点から、学習された実験方策とランダム化されたベースラインを比較すること。
• エージェントが物理的相互作用中に変化する環境フィードバックに応じて適応的で閉ループ型の方策を開発できるかどうかを評価すること。
• 受動的観察ではなく、能動的相互作用を用いることで、人工エージェントが物理的表現を学習する可能性を検討すること。

提案手法

• エージェントは、質量推定のための「Which is Heavier」と、物体数の推定のための「Towers」という2つのシミュレートされた環境で、深層強化学習を用いて訓練される。
• エージェントは、力の適用（例：押す、たたく）によって物体と相互作用し、その結果として生じる運動の様子を観察することで、隠れた物理的性質を推定する。
• 正確な予測を促進し、誤った回答と過度な相互作用コストに対してペナルティを与えるように、報酬信号が設計されている。
• 観測値（例：視覚的情報、運動状態）を行動にマッピングするためのポリシー・ネットワークが、長期的な報酬を最大化するようにエンドツーエンドで訓練される。
• 環境は剛体動力学エンジンを用いて物理的応答をシミュレートしており、現実的な物理的反応を保証する。
• 本手法は、物理学の法則や物体の性質に関する事前知識を仮定せず、エージェントが相互作用を通じてそれらを発見する必要がある。

実験結果

リサーチクエスチョン

• RQ1 エージェントは、物理学に関する事前知識なしに、質量や接着性といった隠れた性質を推定するための物理実験を学習できるか？
• RQ2 異なる実験設定において、エージェントは相互作用のコストと誤った推論のリスクの両方をどのようにバランスさせるか？
• RQ3 学習された実験方策は、ランダムな相互作用戦略に比べて正確性と効率性において優れているか？
• RQ4 エージェントは、物理的相互作用における時間的に変化するダイナミクスに応じて適応的で閉ループ型のポリシーを開発できるか？
• RQ5 エージェントが物理的性質を能動的実験を通じて推定するために訓練される際、どのような相互作用戦略が出現するか？

主な発見

• 深層強化学習で訓練されたエージェントは、ブロックを押すや塔を倒すといった的を射た物理実験を学習し、隠れた物理的性質を効果的に明らかにするようになった。
• 「Which is Heavier」タスクでは、エージェントが最適アルゴリズムに類似した戦略（例：間接的に質量を比較するための制御された力の適用）を発展させた。
• 「Towers」環境では、物体の崩壊の時間スケールの変化に応じて適応する閉ループ型ポリシーをエージェントが学習し、時間的推論能力を示した。
• 学習されたポリシーは、しばしばより少ない相互作用回数で収束する一方で、ランダムなベースラインに比べて高い予測正確性を達成した。
• エージェントは、情報の獲得と相互作用コストの両方をバランスさせ、タスクの難易度や不確実性に応じて戦略を適応させた。
• 結果から、能動的相互作用による実験が、人工エージェントが物理的表現を学習するための実用的かつ有効な道筋である可能性が示唆された。