[論文レビュー] Information Theoretically Aided Reinforcement Learning for Embodied Agents

Guido Montúfar, Keyan Ghazi-Zahedi+1 more|arXiv (Cornell University)|May 31, 2016

Reinforcement Learning in Robotics参考文献 19被引用数 9

ひとこと要約

本論文では、連続するセンサ読み取り値間の相互情報量として測定される予測情報——特に、自己埋め込みエージェントのポリシー勾配強化学習における粗い最適化ランドスケープを滑らかにするための内因的報酬としての使用を提案する。幾何的混合を用いてこの内因的信号と外因的歩行報酬を組み合わせることで、特に局所最適解に陥りやすい複雑な形状のエージェントにおいて、学習の安定性と性能が顕著に向上する。

ABSTRACT

Reinforcement learning for embodied agents is a challenging problem. The accumulated reward to be optimized is often a very rugged function, and gradient methods are impaired by many local optimizers. We demonstrate, in an experimental setting, that incorporating an intrinsic reward can smoothen the optimization landscape while preserving the global optimizers of interest. We show that policy gradient optimization for locomotion in a complex morphology is significantly improved when supplementing the extrinsic reward by an intrinsic reward defined in terms of the mutual information of time consecutive sensor readings.

研究の動機と目的

• 自己埋め込みエージェントの複雑な形状における、粗く非凸的な報酬ランドスケープの課題に対処すること。
• 協調的かつ探索的行動を促進する内因的報酬を組み込むことで、ポリシー勾配最適化を改善すること。
• 時系列に連なるセンサ読み取り値の予測情報が、スケーラブルで効果的な内因的報酬信号として機能するかどうかを検証すること。
• 内因的報酬と外因的報酬を組み合わせることで、グローバル最適解を保持しつつ、局所最適解のトラップを低減できることを示すこと。

提案手法

• 連続するセンサ読み取り値間の相互情報量 $\operatorname{MI}(S; S')$ を内因的報酬信号として用い、協調的かつ多様なセンサダイナミクスを促進する。
• 外因的歩行報酬と内因的相互情報量報酬を幾何的混合により結合：$R_{\text{total}} = R_{\text{ext}}^{1-\xi} \cdot R_{\text{MI}}^{\xi}$、ここで $\xi \in [0,1]$ はトレードオフを制御する。
• 連続的かつスケーラブルなポリシー・モデル（例：制限ボルツマンマシンに基づくポリシー）を用いて、統合された目的関数を最適化するポリシー勾配強化学習を適用する。
• 変分推論を用いた微分可能近似により、相互情報量をエンドツーエンド学習可能にする。
• エージェントの形状をよりよく反映し、ポリシーの表現力を向上させるために、モジュラー制御アーキテクチャを採用する。
• 最初は相互情報量に重点を置き、探索を促進するカリキュラム風戦略を採用し、その後外因的報酬にシフトする。

実験結果

リサーチクエスチョン

• RQ1 連続するセンサ読み取り値間の予測情報は、複雑な自己埋め込みシステムにおけるポリシー勾配学習を改善する有効な内因的報酬として機能するか？
• RQ2 相互情報量と外因的歩行報酬を組み合わせることで、最適化ランドスケープと学習安定性にどのような影響を与えるか？
• RQ3 学習性能を最大化するための、内因的（予測情報）と外因的（歩行）報酬の最適なバランスは何か？
• RQ4 相互情報量の組み込みが、高次元かつ複雑な形状におけるより強固で協調的な歩行行動をもたらすか？
• RQ5 この手法は、異なる形状、センサ設定、接続構造に一般化可能か？

主な発見

• 報酬目的関数に中程度の相互情報量（例：$\xi = 0.75$）を組み込むことで、ポリシー勾配学習の収束性と安定性が顕著に向上する。
• 統合された目的関数は最適化ランドスケープを滑らかにし、純粋な外因的報酬学習でよく見られる局所最適解のトラップ頻度を低減する。
• 内因的報酬を用いて訓練されたポリシーは、性能低下の急激な低下が少なく、訓練ランの間で一貫した改善を示すなど、より高い耐性を示す。
• 高い歩行性能を示す行動は、常に高い相互情報量値を示しており、協調的運動が自然に高い予測情報と相関していることを示している。
• 本手法はスケーラブルかつ一般化可能であり、さまざまな設定（異なるセンサ解像度、ネットワークアーキテクチャ、接続パターン）で一貫した性能向上を達成する。
• 特に報酬信号が疎で粗いとされる複雑な形状では、標準的な強化学習が困難に陥りやすいが、本手法は純粋な外因的報酬学習を上回る性能を示す。