[論文レビュー] Intrinsic Motivation Driven Intuitive Physics Learning using Deep Reinforcement Learning with Intrinsic Reward Normalization

Jaewon Choi, Sung‐Eui Yoon|arXiv (Cornell University)|Jul 6, 2019

Human Pose and Action Recognition参考文献 23被引用数 4

ひとこと要約

本論文は、内部報酬正規化を組み込んだ深層強化学習フレームワークを提案し、自己教師付き相互作用を通じてエージェントが直感的物理学を自律的に学習可能にする。グラフィカル物理ネットワークを用いて物体の運動を予測し、予測誤差に基づく内部報酬を生成することで、エージェントは物体の位置と速度を高い精度で予測するとともに、多様な行動を効率的に探索する。

ABSTRACT

At an early age, human infants are able to learn and build a model of the world very quickly by constantly observing and interacting with objects around them. One of the most fundamental intuitions human infants acquire is intuitive physics. Human infants learn and develop these models, which later serve as prior knowledge for further learning. Inspired by such behaviors exhibited by human infants, we introduce a graphical physics network integrated with deep reinforcement learning. Specifically, we introduce an intrinsic reward normalization method that allows our agent to efficiently choose actions that can improve its intuitive physics model the most. Using a 3D physics engine, we show that our graphical physics network is able to infer object's positions and velocities very effectively, and our deep reinforcement learning network encourages an agent to improve its model by making it continuously interact with objects only using intrinsic motivation. We experiment our model in both stationary and non-stationary state problems and show benefits of our approach in terms of the number of different actions the agent performs and the accuracy of agent's intuition model. Videos are at https://www.youtube.com/watch?v=pDbByp91r3M&t=2s

研究の動機と目的

• 人間の乳児が自発的探索を行うのを模倣して、内部的動機付けによって直感的物理学を学習するエージェントの開発。
• 予測誤差を内部報酬信号として用いることで、物理学学習における効率的探索の課題に取り組む。
• 構造化されたグラフィカル物理ネットワークを用いて、物体の軌道や物理状態を予測する能力の向上。
• 事前学習された直感的物理学モデルにより、将来的な学習に適用可能な転送可能な事前知識の提供。

提案手法

• エージェントは、物体をノード、それらの物理的関係をエッジとして表すグラフィカル物理ネットワークを用い、位置、速度、サイズ、質量を含む物体状態を符号化する。
• 関係エンコーダーが、物体の特徴に基づいて方向性のあるペアワイズ関係を計算し、これらの関係の合計が物体の関係埋め込みを形成する。
• 将来的な物体状態を予測する物理モデルの予測誤差から内部報酬が生成され、学習の安定化を図るため誤差が正規化される。
• 正規化された内部報酬が、深層Qネットワークのアクター・クリティックフレームワークに供給され、探索と方策学習を指導する。
• エージェントは3次元物理シミュレータで行動を行い、結果を観測し、予測誤差を学習信号として用いて内部モデルを更新する。
• 予測誤差が大きい行動を優先することで、多様な行動の探索が促進され、結果としてエージェントの直感的物理学モデルの向上が図られる。

実験結果

リサーチクエスチョン

• RQ1 予測誤差によって駆動される内部的動機付けが、直感的物理学モデルの向上に寄与する行動を効果的に探索できるか。
• RQ2 グラフィカル物理ネットワークは、複雑な3次元物理環境において物体の位置と速度をどれほど正確に予測できるか。
• RQ3 内部報酬正規化は、標準的な内部好奇心手法と比較して、より効率的かつ多様な探索を実現するか。
• RQ4 学習された直感的物理学モデルは、物体数や物理的構成の変化に対しても一般化可能か。

主な発見

• エージェントは物体の位置と速度を高い精度で予測し、最大8個の物体を含むシーンでも平均予測誤差が低く保たれた。
• 静的および非静的環境の両方で安定した性能を示し、短時間予測（≤4フレーム）では最小限の誤差が観測された。
• 長時間予測（>4フレーム）では予測誤差が顕著に増加し、長期予測における誤差の累積が示された。
• エージェントは多様な行動を実行しており、内部的動機付けと報酬正規化によって効果的な探索が実現していることが示された。
• グラフィカル物理ネットワークは物体間の物理的関係を効果的に捉えており、複雑な配置でも正確な軌道予測が可能であった。
• 内部報酬正規化手法により、学習の安定性と探索効率が向上し、モデルの迅速な改善が達成された。