[論文レビュー] Hierarchical Reinforcement Learning via Advantage-Weighted Information Maximization

Takayuki Osa, Voot Tangkaratt+1 more|arXiv (Cornell University)|Jan 5, 2019

Reinforcement Learning in Robotics参考文献 38被引用数 20

ひとこと要約

この論文では、報酬重み付き重要度サンプリングを用いて状態行動空間の離散的かつ解釈可能な潜在表現を最大化することで、状態行動空間の潜在表現を学習する階層的強化学習手法adInfoHRLを提案する。オプション方策を報酬関数のモードとしてモデル化し、決定的方策勾配を用いることで、多様なオプション学習が可能となり、サンプル効率が向上し、MuJoCoのWalker2dおよびAntタスクにおいてTD3を上回る優れた性能を示す。

ABSTRACT

Real-world tasks are often highly structured. Hierarchical reinforcement learning (HRL) has attracted research interest as an approach for leveraging the hierarchical structure of a given task in reinforcement learning (RL). However, identifying the hierarchical policy structure that enhances the performance of RL is not a trivial task. In this paper, we propose an HRL method that learns a latent variable of a hierarchical policy using mutual information maximization. Our approach can be interpreted as a way to learn a discrete and latent representation of the state-action space. To learn option policies that correspond to modes of the advantage function, we introduce advantage-weighted importance sampling. In our HRL method, the gating policy learns to select option policies based on an option-value function, and these option policies are optimized based on the deterministic policy gradient method. This framework is derived by leveraging the analogy between a monolithic policy in standard RL and a hierarchical policy in HRL by using a deterministic option policy. Experimental results indicate that our HRL approach can learn a diversity of options and that it can enhance the performance of RL in continuous control tasks.

研究の動機と目的

• HRLにおける有効な階層的方策構造を特定することで、学習効率と性能を向上させる課題に対処すること。
• 明確な行動モードに対応する、状態行動空間の離散的かつ解釈可能な潜在表現を学習すること。
• 報酬重み付き重要度サンプリングを用いて、オプション方策を報酬関数のモードに一致させること。
• 階層的方策構造を活用することで、連続制御タスクにおけるサンプル効率と性能を向上させること。
• ゲーティングとオプション方策学習を用いて、決定的方策勾配法を階層的方策に一般化するフレームワークの開発すること。

提案手法

• この手法は、ゲーティング方策が状態依存確率に基づいてオプションを選択するオプションの混合として階層的方策を定式化する。
• 高い報酬値を持つ状態行動ペアに注目するため、報酬重み付き重要度サンプリングを導入し、報酬関数のモードに対応する潜在変数の学習を支援する。
• 潜在変数と状態行動ペア間の相互情報量を最大化することで、状態行動空間の離散的かつ解釈可能な表現を学習する。
• オプション方策は決定的方策勾配法で最適化され、ゲーティング方策はオプション価値関数を用いて期待報酬を最大化するように訓練される。
• 標準的な強化学習における単一方策とHRLにおける階層的方策との類似性を活用し、統一的な訓練手順を可能にする。
• t-SNE可視化を用いて、学習されたオプションが状態行動空間の明確に分離された領域で活性化することを検証する。

実験結果

リサーチクエスチョン

• RQ1 報酬重み付き重要度サンプリングを用いた相互情報量最大化は、HRLにおける状態行動空間の離散的かつ解釈可能な潜在表現を効果的に学習できるか？
• RQ2 報酬関数のモードに一致するオプション方策を学習することは、連続制御タスクにおけるサンプル効率と性能を向上させるか？
• RQ3 提案手法adInfoHRLは、複雑な制御環境における明確な行動パターンをカバーする多様なオプションを学習できるか？
• RQ4 MuJoCoベンチマークにおいて、adInfoHRLは標準的なTD3および他のHRLベースラインと比較して、学習速度と最終的な性能で優れているか？
• RQ5 報酬重み付き重要度サンプリング機構は、一様または状態のみに重みを付ける手法と比較して、学習されたオプション方策の質をどの程度向上させるか？

主な発見

• adInfoHRLは、t-SNE可視化により確認されたように、状態行動空間の明確に分離された非重複領域で活性化する多様なオプションを効果的に学習する。
• Walker2dおよびAntタスクにおいて、TD3と比較してサンプル効率と最終的な性能が向上する。
• 相互情報量最大化による潜在変数の学習により、状態行動空間が意味のある行動モードに明確に分割される。
• 報酬重み付き重要度サンプリング機構は、高報酬領域を効果的に特定し、オプション方策の学習をその方向に導く。
• ゲーティング方策は期待報酬を最大化するように学習し、効果的な階層的意思決定を示す。
• この手法は連続制御タスクにうまく一般化され、学習の安定性と最終的な性能において、ベースラインHRL手法を上回る。