[論文レビュー] Active World Model Learning with Progress Curiosity

Kuno Kim, Megumi Sano+3 more|arXiv (Cornell University)|Jul 15, 2020

Reinforcement Learning in Robotics参考文献 46被引用数 5

ひとこと要約

本論文は、3次元バーチャル環境における複雑で学習可能なダイナミクスを効率的に探索できる、γ-Progressに基づくスケーラブルな学習進捗に基づく好奇心信号を用いた、新規の好奇心駆動型アクティブワールドモデル学習（AWML）フレームワークを提案する。この手法は、白色ノイズ問題を克服し、RND や Model Disagreement と比較して優れたワールドモデル学習性能を達成する。

ABSTRACT

World models are self-supervised predictive models of how the world evolves. Humans learn world models by curiously exploring their environment, in the process acquiring compact abstractions of high bandwidth sensory inputs, the ability to plan across long temporal horizons, and an understanding of the behavioral patterns of other agents. In this work, we study how to design such a curiosity-driven Active World Model Learning (AWML) system. To do so, we construct a curious agent building world models while visually exploring a 3D physical environment rich with distillations of representative real-world agents. We propose an AWML system driven by $γ$-Progress: a scalable and effective learning progress-based curiosity signal. We show that $γ$-Progress naturally gives rise to an exploration policy that directs attention to complex but learnable dynamics in a balanced manner, thus overcoming the "white noise problem". As a result, our $γ$-Progress-driven controller achieves significantly higher AWML performance than baseline controllers equipped with state-of-the-art exploration strategies such as Random Network Distillation and Model Disagreement.

研究の動機と目的

• 好奇心駆動型探索を通じて、予測可能なワールドモデルを効率的に学習できるアクティブワールドモデル学習（AWML）システムの開発。
• 学習不能でノイズが多い刺激に過剰に注目するのを防ぎ、複雑だが学習可能なダイナミクスに焦点を当てる、白色ノイズ問題の解決。
• 好奇心とアクティブラーニングを統合した強化学習フレームワーク内で、AWML を形式化すること。
• 学習可能で行動的に豊かなダイナミクス（例：社会的相互作用）に注目を向ける、スケーラブルで効果的な好奇心信号である γ-Progress の設計。
• 静的、周期的、ノイズ的、および社会的（例：のぞき見、模倣）な行動を示す多様なエージェントを含む3次元バーチャル環境での評価。

提案手法

• 著者らは、静的、周期的、ノイズ的、および社会的相互作用的（例：のぞき見、追いかける、模倣）なダイナミクスを示すエージェントを含む3次元バーチャル環境を構築した。
• エージェントは、行動に条件づけられた将来の状態の予測を通じてワールドモデルを学ぶ強化学習問題としてAWMLを形式化した。
• γ-Progress を導入し、ワールドモデルにおける学習進捗の割合に基づく、新規の好奇心信号を設計した。これは、予測誤差の時間的変化として計算される。
• γ-Progress はスケーラブルで効果的であり、複雑だが学習可能なダイナミクス（例：社会的相互作用）に注目を向けるよう促進する。これにより、学習不能なノイズを避けることができる。
• エージェントの探索方策は、γ-Progress を内部報酬として用いて訓練され、多様な刺激にバランスよく注意を向けるとともに、情報量の多い相互作用を優先する。
• 性能評価は、特に外部エージェントに対するワールドモデルの予測精度を用い、学習効率を評価するための注目割り当てパターンの分析も実施した。

実験結果

リサーチクエスチョン

• RQ1 好奇心駆動型探索方策は、豊かなエージェント環境において、学習可能で複雑なダイナミクスを、学習不能なノイズよりも優先的に処理できるか？
• RQ2 γ-Progress を好奇心信号として用いることで、RND や Model Disagreement と比較して、ワールドモデル学習において優れた性能を発揮するか？
• RQ3 γ-Progress は、アクティブワールドモデル学習における白色ノイズ問題をどの程度克服できるか？
• RQ4 初期の注目パターン（例：生き物的 vs. 非生き物的）は、最終的なワールドモデル性能を予測できるか？
• RQ5 AWML フレームワークは、特に社会的注目と学習における内在的動機づけの計算モデルとして、初期人間発達に適用可能か？

主な発見

• γ-Progress を用いたエージェントは、RND や Model Disagreement を用いたベースラインコントローラーよりも顕著に高いワールドモデル学習性能を達成した。
• γ-Progress は、ランダムまたは周期的な刺激ではなく、社会的相互作用のような複雑で学習可能なダイナミクスに注目を向けることで、白色ノイズ問題を効果的に克服した。
• エージェントの生き物的・非生き物的エージェントに対する注目差は、最終的な性能と強く相関しており、初期段階での生き物的エージェントへの注目が、後のワールドモデルの正確性を強く予測した。
• γ-Progress に基づく初期注目差インジケーター・モデルは、最終的なモデル性能を予測する直接的な性能ベースの予測子を上回り、注目割り当てが学習効率の主要なメカニズムであることを示した。
• モデルの注目パターンと学習曲線は、人間の乳児における発達的時間プロファイルに類似しており、内在的動機づけの学習と発達のばらつき（例：自閉スペクトラム症候群を含む）をモデル化する可能性を示唆した。
• フレームワークは、学習進捗に基づく好奇心信号が、社会的注目発達の計算的基盤として機能できることを示した。これは、発達障害の早期診断ツールへの応用可能性を示唆する。