[論文レビュー] The Eigenoption-Critic Framework

Miao Liu, Marlos C. Machado+2 more|arXiv (Cornell University)|Dec 11, 2017

Reinforcement Learning in Robotics参考文献 22被引用数 7

ひとこと要約

Eigenoption-Critic (EOC)フレームワークは、状態空間のグラフラプラシアン固有ベクトルから得られる内因的報酬を用いて、オプションと方策のエンド・ツー・エンド学習を可能にする。EOCはNyström近似を用いて離散的および連続的状態空間をサポートし、変化する目標に迅速に適応できるため、非定常環境において標準的なOption-Criticを上回る性能を発揮する。

ABSTRACT

Eigenoptions (EOs) have been recently introduced as a promising idea for generating a diverse set of options through the graph Laplacian, having been shown to allow efficient exploration. Despite its initial promising results, a couple of issues in current algorithms limit its application, namely: (1) EO methods require two separate steps (eigenoption discovery and reward maximization) to learn a control policy, which can incur a significant amount of storage and computation; (2) EOs are only defined for problems with discrete state-spaces and; (3) it is not easy to take the environment's reward function into consideration when discovering EOs. To addresses these issues, we introduce an algorithm termed eigenoption-critic (EOC) based on the Option-critic (OC) framework [Bacon17], a general hierarchical reinforcement learning (RL) algorithm that allows learning the intra-option policies simultaneously with the policy over options. We also propose a generalization of EOC to problems with continuous state-spaces through the Nyström approximation. EOC can also be seen as extending OC to nonstationary settings, where the discovered options are not tailored for a single task.

研究の動機と目的

• 従来の固有オプション手法における、分離した学習フェーズ、離散的状態空間の制限、環境報酬との統合の欠如といった限界を解消すること。
• オプション探索と方策学習を統合した、オンライン学習をサポートする単一のエンド・ツー・エンドフレームワークを構築すること。
• 連続的状態空間への固有オプションの拡張を、固有関数の補間にNyström近似を用いて行うこと。
• 変化する目標がある非定常環境における、サンプル効率の向上と適応性の強化。
• 再訓練を必要とせずに、さまざまなタスクに一般化可能な、多様で移譲可能なオプションを実現すること。

提案手法

• 状態空間グラフのラプラシアン行列の固有ベクトルに基づく内因的報酬をOption-Criticフレームワークに追加し、固有目的（eigenpurposes）を形成する。
• 外因的報酬と固有目的に基づく内因的報酬を組み合わせたハイブリッド報酬信号を用いて、方策学習を誘導する。
• 連続的ドメインにおける新しい未観測状態への固有関数の一般化を実現するため、Nyström近似を適用する。
• オンライン学習中にNyströmベースの固有関数補間のためのk近傍探索を効率的に行うために、Kdツリーを用いる。
• 政策勾配法を用いて、組み合わせ報酬信号に基づき、内部オプション方策とオプション終了条件を同時に最適化する。
• 学習目的関数における内因的報酬と外因的報酬の寄与度を調整するための混合係数αを導入する。

実験結果

リサーチクエスチョン

• RQ1 先行手法の二段階学習を回避する統合的でエンド・ツー・エンドの学習フレームワークとして、固有オプションを統合できるか？
• RQ2 固有オプションを連続的状態空間に拡張する方法は何か？ その際、探索効果を維持できるか？
• RQ3 外因的報酬と内因的固有目的報酬を組み合わせることで、非定常環境における学習効率が向上するか？
• RQ4 EOCフレームワークは、変化する目標を有するタスクにおいて、標準的なOption-Criticをどの程度上回るか？
• RQ5 得られたオプションは、再訓練なしに異なるタスク間で多様かつ移譲可能か？

主な発見

• 定期的に目標が変化する4ルームナビゲーションタスクにおいて、α=0.75のEOCが最良の性能を示し、目標移動後のタスクで標準的なOption-Criticを顕著に上回った。
• 同じタスクにおいて、内因的固有目的報酬に起因するより効率的な探索のおかげで、EOCは新しい目標位置への適応が速かった。
• 連続的状態のピンバルドメインでは、α=0.5のEOCが、初期の目標変更以降の全タスクにおいて、未割引報酬でOCを上回った。特に後続のタスクで顕著な優位性を示した。
• Nyström近似の使用により、連続的ドメインにおける新しい状態への固有関数の一般化が効果的に行われ、線形関数近似を用いても性能が維持された。
• 学習可能な混合係数αを介して内因的報酬と外因的報酬を統合することで、EOCは非定常設定においてより高いサンプル効率と高速な収束を達成した。
• このフレームワークは、先行固有オプション手法の3つの主要な限界（二段階学習、離散的状態制限、報酬統合の欠如）を効果的に解決した。