[論文レビュー] Artificial Agents Learn Flexible Visual Representations by Playing a Hiding Game.

Luca Weihs, Aniruddha Kembhavi+6 more|arXiv (Cornell University)|Dec 17, 2019

Reinforcement Learning in Robotics参考文献 59被引用数 7

ひとこと要約

本論文は、高精細でインタラクティブな環境で隠れんぼゲーム（キャッシュ）をプレーする人工エージェントが、遮蔽、物体恒常性、空き空間、包含関係を含む柔軟な視覚的表現を学習することを示している。これは、大規模なラベル付きデータセットを用いないが、最先端の教師あり表現学習手法と同等の性能を達成している。この表現は、大規模なラベル付きデータセットではなく、身体的でインタラクティブな遊びを通じて得られている。

ABSTRACT

The ubiquity of embodied gameplay, observed in a wide variety of animal species including turtles and ravens, has led researchers to question what advantages play provides to the animals engaged in it. Mounting evidence suggests that play is critical in developing the neural flexibility for creative problem solving, socialization, and can improve the plasticity of the medial prefrontal cortex. Comparatively little is known regarding the impact of gameplay upon embodied artificial agents. While recent work has produced artificial agents proficient in abstract games, the environments these agents act within are far removed the real world and thus these agents provide little insight into the advantages of embodied play. Hiding games have arisen in multiple cultures and species, and provide a rich ground for studying the impact of embodied gameplay on representation learning in the context of perspective taking, secret keeping, and false belief understanding. Here we are the first to show that embodied adversarial reinforcement learning agents playing cache, a variant of hide-and-seek, in a high fidelity, interactive, environment, learn representations of their observations encoding information such as occlusion, object permanence, free space, and containment; on par with representations learnt by the most popular modern paradigm for visual representation learning which requires large datasets independently labeled for each new task. Our representations are enhanced by intent and memory, through interaction and play, moving closer to biologically motivated learning strategies. These results serve as a model for studying how facets of vision and perspective taking develop through play, provide an experimental framework for assessing what is learned by artificial agents, and suggest that representation learning should move from static datasets and towards experiential, interactive, learning.

研究の動機と目的

• 身体的でインタラクティブなゲームプレイが、人工エージェントにおける柔軟な視覚的表現の発展を促進するかどうかを調査すること。
• 現実的でインタラクティブな環境における遊びが、視点の取り替え、誤解、物体恒常性といった認知的概念の出現をどのように支援するかを探索すること。
• 従来の、大規模な教師あり表現学習パラダイムと比較して、遊びを通じて学習された表現の質を評価すること。
• 経験的でインタラクティブな学習を通じて人工エージェントが何を学ぶかを評価するための実験的フレームワークを構築すること。

提案手法

• 1体のエージェントが物体を隠し、もう1体のエージェントがそれを探す高精細でインタラクティブな3D環境において、敵対的強化学習を用いてエージェントを訓練する。
• 環境は、物体の遮蔽、包含、動的シーン変化を含む、豊富な物理的相互作用をサポートしており、現実的な遊びのダイナミクスを実現できる。
• エージェントの内部ニューラル活性化から視覚的表現を抽出し、自由空間や物体恒常性といった空間的・知覚的概念をどのようにエンコードできるかを評価する。
• 標準的な下流タスクを用いて、最先端の自己教師ありおよび教師あり視覚的表現学習手法と比較して、表現の質をベンチマークする。
• エージェントが隠れた物体の状態を追跡し、戦略的に計画できるように、記憶と意図モデリングを学習プロセスに組み込むことで、学習を強化する。
• 相互作用と遊びの経過によって、視覚的表現の構造がどのように変化するかを分析するためのフレームワークを提供する。

実験結果

リサーチクエスチョン

• RQ1 人工エージェントは、現実的でインタラクティブな環境において、身体的でインタラクティブな遊びを通じて柔軟な視覚的表現を発展させることができるか？
• RQ2 遊びを通じて学習された表現が、遮蔽、物体恒常性、包含関係といったコアな知覚的・認知的概念をどの程度エンコードしているか？
• RQ3 遊びを通じて学習された表現は、大規模な教師あり表現学習手法から得られた表現と比較して、どの程度の質を持っているか？
• RQ4 記憶と意図モデリングは、学習された表現の質と柔軟性を向上させるために果たす役割は何か？

主な発見

• キャッシュゲームをプレーする人工エージェントは、遮蔽、物体恒常性、空き空間、包含関係を高い忠実度でエンコードする視覚的表現を学習した。
• エージェントは外部の教師信号や大規模なラベル付きデータセットを一切用いずに学習したが、その表現の質は、最も先進的な教師あり表現学習手法と同等であった。
• 遊びを通じた表現学習は、標準的な自己教師あり事前学習ベースラインと比較して、下流タスクで優れたもしくは同等の性能を示した。
• 記憶と意図モデリングの統合により、エージェントが隠れた状態を推論し、戦略的に計画する能力が顕著に向上した。
• 結果から、インタラクティブで経験的な学習は、データ集約的で静的学習パラダイムと同等の豊かな、生物学的に妥当な表現を生み出す可能性があることが示唆された。
• このフレームワークは、人工エージェントにおける視覚と視点の取り替えの発達を遊びを通じて研究するための実用的な実験的モデルを提供する。