[論文レビュー] SMiRL: Surprise Minimizing Reinforcement Learning in Unstable Environments

Glen Berseth, Daniel Geng+5 more|arXiv (Cornell University)|Dec 11, 2019

Reinforcement Learning in Robotics参考文献 53被引用数 12

ひとこと要約

本稿では、環境の驚きを最小化することで安定的で予測可能な状態を求めるように訓練する、教師なし強化学習手法であるSurprise Minimizing Reinforcement Learning (SMiRL) を提案する。状態密度モデルを繰り返し更新し、それらの高い確率の状態へ到達するようにポリシーを最適化することで、SMiRL は、タスク固有の報酬なしに、Tetris のプレイ、ヒューマノイドのバランス、敵からの回避といった複雑な行動を自律的に学習可能である。また、報酬ベースの学習を補助目的として用いることで、学習を加速することも可能である。

ABSTRACT

Every living organism struggles against disruptive environmental forces to carve out and maintain an orderly niche. We propose that such a struggle to achieve and preserve order might offer a principle for the emergence of useful behaviors in artificial agents. We formalize this idea into an unsupervised reinforcement learning method called surprise minimizing reinforcement learning (SMiRL). SMiRL alternates between learning a density model to evaluate the surprise of a stimulus, and improving the policy to seek more predictable stimuli. The policy seeks out stable and repeatable situations that counteract the environment's prevailing sources of entropy. This might include avoiding other hostile agents, or finding a stable, balanced pose for a bipedal robot in the face of disturbance forces. We demonstrate that our surprise minimizing agents can successfully play Tetris, Doom, control a humanoid to avoid falls, and navigate to escape enemies in a maze without any task-specific reward supervision. We further show that SMiRL can be used together with standard task rewards to accelerate reward-driven learning.

研究の動機と目的

• タスク固有の報酬を求めるのではなく、環境の驚きを最小化することで有用な行動を学習できる教師なし強化学習手法の開発。
• 自然の摂動がエントロピーを増加させるオープンワールド環境において、探索よりも安定性と予測可能性が重要となる課題に対処すること。
• 驚きの最小化が、バランス、ゲームプレイ、回避といった意味的に意味のある協調行動を、タスク固有の報酬なしに生み出せることの実証。
• SMiRL を補助報酬信号として用いることで、災害を避けることが重要となる密度の高い報酬環境における学習を加速する有効性の探求。

提案手法

• SMiRL は訪問された状態の分布を推定する密度モデル $p_{\theta}(\mathbf{s})$ を維持し、新しい状態観測値でそれを更新する。
• ポリシーは $p_{\theta}(\mathbf{s})$ のパラメータに条件付けられ、驚きが低く（つまり、現在のモデル下で尤もらしい）、予測可能な状態へ到達する行動を生成する。
• 各ステップで、エージェントは報酬 $r_t = -\log p_{\theta_{t-1}}(\mathbf{s}_t)$ を受信し、これは現在の状態の負の対数尤度を測定する。
• 密度モデルの更新とポリシーの改善を交互に繰り返すことで、変化する状態分布下で定常的なMDPを形成する。
• SMiRL は完全に教師なしの設定およびタスク報酬と組み合わせた設定の両方で適用可能であり、$r_{\text{combined}} = r_{\text{task}} + \alpha r_{\text{SMiRL}}$ を用いる。
• アルゴリズムの変更なしに、$p_{\theta}(\mathbf{s})$ を専門家のデモンストレーションで初期化することで、事前データを統合可能であり、これにより模倣学習の一種が可能になる。

実験結果

リサーチクエスチョン

• RQ1 驚きの最小化は、タスク固有の報酬形状なしに、不安定な環境で複雑で協調的な行動が出現するか？
• RQ2 高い自然エントロピーと持続的な摂動が存在する環境において、SMiRL はノベルティ探索型の内因的好奇心手法と比べてどのように性能を発揮するか？
• RQ3 SMiRL は、災害を避けることが重要な密度の高い報酬環境において、効果的な補助報酬として機能するか？
• RQ4 SMiRL は、事前デモンストレーションとどれほどうまく組み合わせられるか。特に、学習のサンプル効率の向上と訓練中の失敗の削減に寄与するか？

主な発見

• SMiRL は、タスク固有の報酬信号なしに、Tetris をプレイし、Doom で敵を避けながらナビゲートし、崖の縁でヒューマノイドロボットのバランスを保つことに成功した。
• Tetris および TakeCover 環境において、SMiRL は先行する内因的好奇心手法を上回り、特に難易度の高いバージョンでは死亡数や転倒数を顕著に減少させた。
• タスク報酬と組み合わせた場合、SMiRL は Walk および DefendTheLine タスクで学習を加速させ、特に事前走行軌道を用いて状態密度モデルを初期化した場合に最良の性能を示した。
• 事前データで初期化された SMiRL のバージョンは、転倒数を減少させるとともに、サンプル効率を向上させた。これは、事前の知識が驚き最小化フレームワークにスムーズに統合可能であることを示している。
• SMiRL の行動は状態表現に極めて敏感であり、適切な観測モダリティの選択によって行動設計をガイドできることを示している。
• 驚きの最小化が、明示的な報酬がなくても、シェルターの構築やバランスの維持といったホメオスタシス的行動の出現を促すことが示された。