[論文レビュー] Curiosity-driven reinforcement learning with homeostatic regulation

Ildefons Magrans de Abril, Ryota Kanai|arXiv (Cornell University)|Jan 23, 2018

Reinforcement Learning in Robotics参考文献 12被引用数 13

ひとこと要約

本論文は、連続的制御環境における探索と安定性のバランスを図るために、ホメオスタシス的制御を統合した好奇心駆動型強化学習アルゴリズムを提案する。情報理論的内在的報酬と、非線形的で複雑な領域における学習を優先するホメオスタシス的ドライブを統合することで、前方モデルの精度とサンプル効率が向上し、挑戦的な環境において純粋な好奇心ベースの手法を上回る性能を発揮する。

ABSTRACT

We propose a curiosity reward based on information theory principles and consistent with the animal instinct to maintain certain critical parameters within a bounded range. Our experimental validation shows the added value of the additional homeostatic drive to enhance the overall information gain of a reinforcement learning agent interacting with a complex environment using continuous actions. Our method builds upon two ideas: i) To take advantage of a new Bellman-like equation of information gain and ii) to simplify the computation of the local rewards by avoiding the approximation of complex distributions over continuous states and actions.

研究の動機と目的

• 純粋な好奇心駆動型探索の限界、すなわち学習に必要な安定的かつ繰り返しの必要な領域を無視する可能性を是正すること。
• 人工エージェントにおける探索（ヘテロスタシス）と生理的安定性の維持（ホメオスタシス）の二重の生物学的ドライブをモデル化すること。
• 情報量の増加となじみの度合いに基づく内在的報酬の制御を通じて、前方モデル学習の効率を向上させること。
• 好奇心とホメオスタシス的制御を組み合わせることで、非線形的で複雑な環境における学習が向上することを検証すること。

提案手法

• 条件付き相互情報量を用いた情報量の増加（ヘテロスタシス的好奇心）と、過去の状態-行動ペアとのなじみ具合（ホメオスタシス的制御）を組み合わせた新しい内在的報酬関数を提案する。
• 因果的に条件づけられた有向相互情報量を用いて、情報量の増加に関するベルマンに類似した再帰的式を導出することで、時間的信用配分を可能にする。
• 連続的な状態と行動の分布の複雑な近似を回避することで、局所的な報酬計算を簡素化する。
• 前方モデル $ f $ と拡張された前方モデル $ k $ を用いて状態遷移を予測し、ホメオスタシス項によって熟練済みの状態-行動パターンからの逸脱をペナルティ化する。
• DDPGを用い、ハイブリッド報酬 $ r_t = \text{IG}(s_t) + \frac{\beta}{2} \text{Fam}(s_t, a_t) $ を採用する。ここで $ \text{IG} $ は情報量の増加、$ \text{Fam} $ はなじみ具合を測る。
• 経験再生とミニバッチ更新を用いて、連続的制御設定下でエージェントと内部モデルを同時に学習する。

実験結果

リサーチクエスチョン

• RQ1 ホメオスタシス的ドライブは、非線形的で複雑な環境における好奇心駆動型探索の効率を向上させ得るか？
• RQ2 なじみに基づく報酬による好奇心の制御は、前方モデル学習の精度にどのように影響するか？
• RQ3 ヘテロスタシス的およびホメオスタシス的ドライブの組み合わせは、純粋な好奇心よりも優れたサンプル効率をもたらすか？
• RQ4 ホメオスタシス的制御により、非線形性が著しい領域（例：3部屋環境における「ドア」付近）の学習を優先できるか？

主な発見

• ホメオスタシス成分 $ \beta $（または $ \bar{\beta} $）を増加させることで前方モデルの精度が向上し、$ \beta = 7 $ のとき平均二乗誤差（MSE）が最小化されたが、実験条件の違いにより絶対的なMSEはランダムサンプリングより高かった。
• $ \beta = 7 $ の場合、エージェントは非線形的領域（例：「ドア」）の周辺に自らを位置づけるポリシーを学習しており、複雑なダイナミクスの領域を優先的に探索していることが示された。
• 制限付きの初期状態（下の部屋のみ）において、ホメオスタシス-好奇心エージェントは15万エピソードの平均で上部の部屋に1,000回以上到達したが、純粋なランダム探索では145回にとどまった。
• 学習が最も困難な領域に焦点を当てた探索により、環境のサンプリング効率が向上し、高曲率の状態-行動領域のカバレッジが向上した。
• ハイブリッド報酬戦略により、純粋な好奇心やランダムベースラインと比較して、より構造的で効果的な探索パターンが得られた。
• 結果から、ホメオスタシス的制御は情報量が少ない領域での過剰な探索を防ぎ、好奇心を学習に富む領域へと導くことが示唆された。