[論文レビュー] Variational Intrinsic Control

Karol Gregor, Danilo Jimenez Rezende+1 more|arXiv (Cornell University)|Nov 22, 2016

Reinforcement Learning in Robotics参考文献 19被引用数 180

ひとこと要約

この論文は、相互情報量を最大化することにより、オプションと最終状態との間の関係を広範に発見するための教師なし強化学習手法を提案する。Explicit（明示的）とImplicit（暗黙的）オプションの定式化と、 empowerment の推定を含む。

ABSTRACT

In this paper we introduce a new unsupervised reinforcement learning method for discovering the set of intrinsic options available to an agent. This set is learned by maximizing the number of different states an agent can reliably reach, as measured by the mutual information between the set of options and option termination states. To this end, we instantiate two policy gradient based algorithms, one that creates an explicit embedding space of options and one that represents options implicitly. The algorithms also provide an explicit measure of empowerment in a given state that can be used by an empowerment maximizing agent. The algorithm scales well with function approximation and we demonstrate the applicability of the algorithm on a range of tasks.

研究の動機と目的

• Intrinsic options を、制御可能な結果を捉えるための終了状態を持つ政策として定義する。
• 選択されたオプションとそれらの最終状態との間の相互情報量を最大化し、多様で制御可能な結果を促進する。
• 関数近似とスケーリングする2つの policy-gradient ベースのアルゴリズム（明示的オプションと暗黙的オプション）を開発する。
• エージェントの状態における制御を反映し、 empowerment 指向のエージェントを導く empowerment の推定値を提供する。

提案手法

• intrinsic control を I(Omega, s_f | s_0) を変分界限 I^{VB} を用いて最大化する形式で定式化する。
• 相互情報量を界づけるために q(Omega|s_0, s_f) というオプション推論関数を導入する。
• Algorithm 1 (Explicit Options): p^C から Omega をサンプルし、ポリシー pi(a|s, Omega) に従って s_f へ進み、Omega を推定するよう q を訓練し、 intrinsic reward r_I = log q - log p^C を用いて pi を r_I で最大化、r_I で p^C を更新する。
• Algorithm 2 (Implicit Options): pi^p を用いて行動をオプションとして扱い、学習済みの q を用いて、 RL と教師付き更新を通じて R_I = sum_t log pi^q - log pi^p を最大化する。
• empowerment を log-ratio r_I と、ポリシー更新のための明示的 empowerment ベースラインとして提供する。

実験結果

リサーチクエスチョン

• RQ1 ある状態でエージェントが利用できる内在的オプションは何か、どのように効率的に発見できるか。
• RQ2 オプションと終了状態との間の相互情報量を最大化することで、オープンな環境でスケーラブルな内在的制御の集合を得られるか。
• RQ3 明示的オプションと暗黙的オプションの定式化は、 empowerment の推定と学習ダイナミクスの点でどのように比較されるか。
• RQ4 外部報酬と組み合わせて学習を高影響オプションへバイアス付けするために、このフレームワークを使用できるか。
• RQ5 確率的環境における正確な empowerment 推定には閉ループ制御が必須か。

主な発見

• このアプローチは、グリッドワールド課題で異なる終了状態へ至る多様な内在的オプションを発見できる。
• empowerment 評価を伴うグリッドワールドでは、explicit オプション実験で平均 empowerment が約 6.0 nat（約 403 個の到達状態）に達する。
• 25x25 グリッドと 3D 画像ベース課題の暗黙オプション実験では、平均 empowerment が約 5.4 nat（約 221 個の到達状態）に達する。
• ブロックを押す実験では empowerment が最大約 7.1 nat（約 1200 個の到達状態）に達する。
• 開ループ empowerment は確率的環境で著しく劣るが、閉ループオプションは高い empowerment と堅牢な制御を回復する。
• この方法は関数近似とスケーラビリティを持ち、部分観測の課題にも適用可能である。