[論文レビュー] Learning in embodied action-perception loops through exploration

Daniel Y. Little, Friedrich T. Sommer|arXiv (Cornell University)|Dec 6, 2011

Neural dynamics and brain function参考文献 39被引用数 11

ひとこと要約

本論文は、欠落情報の定量的評価を用いて、ベイジアン推論を用いて学習駆動型探索の計算理論を提示する。行動と知覚のループを効率的に統合することで、不確実性を低減する行動を優先することで、ナビゲーションや報酬収集のタスクにおいて、従来の手法に比べてより迅速な世界学習と向上したタスクパフォーマンスを達成する。

ABSTRACT

Although exploratory behaviors are ubiquitous in the animal kingdom, their computational underpinnings are still largely unknown. Behavioral Psychology has identified learning as a primary drive underlying many exploratory behaviors. Exploration is seen as a means for an animal to gather sensory data useful for reducing its ignorance about the environment. While related problems have been addressed in Data Mining and Reinforcement Learning, the computational modeling of learning-driven exploration by embodied agents is largely unrepresented. Here, we propose a computational theory for learning-driven exploration based on the concept of missing information that allows an agent to identify informative actions using Bayesian inference. We demonstrate that when embodiment constraints are high, agents must actively coordinate their actions to learn efficiently. Compared to earlier approaches, our exploration policy yields more efficient learning across a range of worlds with diverse structures. The improved learning in turn affords greater success in general tasks including navigation and reward gathering. We conclude by discussing how the proposed theory relates to previous information-theoretic objectives of behavior, such as predictive information and the free energy principle, and how it might contribute to a general theory of exploratory behavior.

研究の動機と目的

• 行動心理学における学習を探索の主因とする見方と、報酬最大化に焦点を当てる計算モデルとの間のギャップを埋める。
• 身体的なエージェントが閉じた行動-知覚ループ内で協調的な行動をとることで、世界構造を能動的に学ぶ方法を形式的な枠組みとして開発する。
• 欠落情報による情報量の最大化が、学習時間の短縮と多様な環境下でのパフォーマンス向上に寄与することを示す。
• 予測情報量や自由エネルギーといった既存の情報理論的原則と、提案された学習駆動型探索を関連づけ、探索行動の統一理論を示唆する。

提案手法

• エージェントは、行動が状態遷移に影響を与える制御可能マルコフ連鎖（CMC）の世界に存在し、ベイジアン推論を用いて遷移ダイナミクスを学習する。
• 探索方針は、欠落情報の期待値の減少（すなわち予測された情報量の増加）によって駆動され、行動がどれだけ不確実性を解消するかを定量化する。
• 行動は、内部モデルの世界ダイナミクスに関する信念のエントロピーの期待値の低下を最大化するように選択される（PIG：予測情報量の最大化）。
• センサーモータリーコンタクトを統合することで、エージェントが行動が感覚入力に与える影響を学ぶ必要があり、能動的なデータ取得を可能にする。
• 複数の構造的複雑性を持つ世界構造において、ランダムおよび報酬ベースのポリシーといったベースライン探索戦略と比較する。
• 学習駆動型と刺激駆動型探索を組み合わせたハイブリッド戦略を提案し、発達心理学における調査と遊びの区別に整合する。

実験結果

リサーチクエスチョン

• RQ1 計算モデルとしての探索を、報酬最大化ではなく学習そのものを主因とする根拠をどのように確立できるか？
• RQ2 身体的制約が、行動-知覚ループ内での効率的学習を達成するために、なぜ協調的な行動選択を必要とするのか？
• RQ3 予測情報量の最大化（PIG）が、他の探索戦略と比較して、学習速度とタスク成功確率においてどのように異なるか？
• RQ4 提案された理論が、予測情報量や自由エネルギーといった既存の情報理論的原則とどのように関連するか？
• RQ5 調査と遊びといった異なる探索モードを、1つの計算モデル内で統合する統一枠組みを構築できるか？

主な発見

• 予測情報量（PIG）に基づく学習駆動型探索ポリシーは、多様な環境において、ランダムおよび報酬ベースの探索を著しく上回る。
• 高い身体的制約下では、欠落情報に基づく協調的行動選択が、非協調的戦略よりも世界ダイナミクスの学習収束を迅速にする。
• 世界学習の向上により、ナビゲーションや報酬収集といった一般的なタスクでの成功が向上し、効率的探索の下位タスクへの恩恵を示す。
• モデルの探索戦略は、世界に関する不確実性を低減するために行動を選択するという、好奇心駆動型の調査行動の心理的理論と整合する。
• エントロピー、情報量の増加といった情報理論的概念と探索行動との間の原理的つながりを提供し、自律的学習の統一理論を支持する。
• 学習駆動型と刺激駆動型のモードを組み合わせたハイブリッド探索戦略は、発達心理学で観察される調査と遊びの間の遷移を捉えている。