[論文レビュー] Information is Power: Intrinsic Control via Information Capture

Nicholas Rhinehart, Jenny Wang+5 more|arXiv (Cornell University)|Dec 7, 2021

Reinforcement Learning in Robotics被引用数 12

ひとこと要約

本論文では、部分観測環境における内発的探索と制御を可能にする、潜在状態空間モデルを用いてエージェントの潜在状態訪問のエントロピーを最小化する深層強化学習フレームワーク、情報捕捉による内在的制御（IC2）を提案する。この手法により、外在的報酬が存在しない状況下でも、視覚的観測のみを用いて動的物体（移動する動物や気象パターンなど）の発見・表現・制御が可能となり、非教師あり制御タスクでエキスパート水準のパフォーマンスを達成する。

ABSTRACT

Humans and animals explore their environment and acquire useful skills even in the absence of clear goals, exhibiting intrinsic motivation. The study of intrinsic motivation in artificial agents is concerned with the following question: what is a good general-purpose objective for an agent? We study this question in dynamic partially-observed environments, and argue that a compact and general learning objective is to minimize the entropy of the agent's state visitation estimated using a latent state-space model. This objective induces an agent to both gather information about its environment, corresponding to reducing uncertainty, and to gain control over its environment, corresponding to reducing the unpredictability of future world states. We instantiate this approach as a deep reinforcement learning agent equipped with a deep variational Bayes filter. We find that our agent learns to discover, represent, and exercise control of dynamic objects in a variety of partially-observed environments sensed with visual observations without extrinsic reward.

研究の動機と目的

• 外在的報酬が存在しない状況下でも、部分観測環境における動的要因の探索と制御を可能にする汎用的な内発的報酬信号の開発。
• 従来の手法が避ける（例：安定したニッチに隠れる）か、予測可能な環境変化の制御を維持できないという限界を克服すること。
• 統一された目的関数により、情報収集（不確実性の低減）と制御（予測不能性の低減）の両方を実現すること。
• 潜在状態表現を介して情報収集と環境制御の両方を捉える自己教師付き学習の目的関数を形式化すること。
• 潜在状態訪問エントロピーの最小化が、従来の内発的動機付け手法よりも複雑で頑健な行動を生み出すことの実証。

提案手法

• エージェントは、環境の隠れた状態に関する信念を推定するため、深層変分ベイズフィルタを用いて潜在状態空間モデル（LSSM）を学習する。
• 内発的報酬は、エージェントの潜在状態訪問分布の負のエントロピーとして定義され、情報収集と環境制御の両方を促進する。
• このエントロピー最小化目的関数を用いて強化学習によりポリシーを訓練し、長時間スケールでの状態訪問予測可能性を最適化する。
• LSSMが視覚的観測からの時間的ダイナミクスと信念更新をモデル化する中で、表現学習と制御目的を統合する。
• 本手法は従来の探索手法と直交しており、初期探索の効率を向上させるためにそれらと組み合わせて利用可能である。
• 本フレームワークは、移動する動物や気象変化といった動的要因を有する視覚的に複雑な部分観測環境で評価されている。

実験結果

リサーチクエスチョン

• RQ1 潜在状態訪問エントロピーの最小化は、部分観測環境において情報収集と環境制御の両方を達成できるか？
• RQ2 行動の複雑さという観点から、ノベルティ探索や権力最大化といった従来の内発的動機付け手法と比較して、本目的関数はどのように差をつけるか？
• RQ3 外在的報酬が存在しない状況下でも、本手法は動的物体（例：ヤギや気象パターン）の発見と制御を可能にするか？
• RQ4 エージェントは、時間経過とともに環境の不確実性を低減する安定した構造（フェンス、家など）を学習して構築できるか？
• RQ5 本手法が失敗する条件は何か？他のエージェントや生き物が存在する環境に本手法を導入する際の安全策は何か？

主な発見

• IC2エージェントは、外在的報酬が存在しない状況下でも、視覚的に複雑な部分観測環境において、移動するヤギや変化する天候といった動的物体の発見・表現・制御を学習した。
• 本手法は、複数のベンチマーク環境でエキスパート水準のパフォーマンスを達成し、従来の非教師あり制御手法を顕著に上回った。
• 従来の手法が隠れる・回避する行動に陥るのに対し、IC2は不確実性の低減と環境ダイナミクスの制御を積極的に行う。
• エージェントは、隠れた物体の特定、環境状態の安定化を目的とした囲いの構築、長期的な予測不能性の低減を目的としたシェルターの建設といった行動を示した。
• 不確実性の低減と権力最大化の両手法よりも、本手法は複雑な環境要因の把握と制御において優れた性能を示した。
• 本手法は部分観測に対して頑健であり、自己教師付き学習により、複雑で長時間スケールの制御ポリシーを学習可能である。