[論文レビュー] SOAC: The Soft Option Actor-Critic Architecture

Chenghao Li, Xiaoteng Ma+4 more|arXiv (Cornell University)|Jun 25, 2020

Optimization and Search Problems参考文献 43被引用数 7

ひとこと要約

SOACは、オプション枠組みと最大エントロピー強化学習、および情報理論的内在的報酬を統合することで、効果的な探索と安定した学習を可能にする安定したオフポリシー深層強化学習アルゴリズムを提案する。Mujocoベンチマークにおいて、従来のオンポリシーおよびオフポリシー手法を上回り、強力な状態-行動空間の一貫性と移植可能なハイレベルポリシーを持つ多様で整合性のあるオプションを学習する。

ABSTRACT

The option framework has shown great promise by automatically extracting temporally-extended sub-tasks from a long-horizon task. Methods have been proposed for concurrently learning low-level intra-option policies and high-level option selection policy. However, existing methods typically suffer from two major challenges: ineffective exploration and unstable updates. In this paper, we present a novel and stable off-policy approach that builds on the maximum entropy model to address these challenges. Our approach introduces an information-theoretical intrinsic reward for encouraging the identification of diverse and effective options. Meanwhile, we utilize a probability inference model to simplify the optimization problem as fitting optimal trajectories. Experimental results demonstrate that our approach significantly outperforms prior on-policy and off-policy methods in a range of Mujoco benchmark tasks while still providing benefits for transfer learning. In these tasks, our approach learns a diverse set of options, each of whose state-action space has strong coherence.

研究の動機と目的

• ヒエラルキカル強化学習におけるオプション枠組みを用いた無効な探索と不安定なポリシー更新を解消すること。
• ハイレベルのオプション選択とローレベルのインラインオプションポリシーの両方の安定したオフポリシー学習を可能にすること。
• 情報理論的内在的報酬を通じて、サンプル効率の向上とポリシーの多様性の向上を図ること。
• 移植可能な汎用的オプション選択ポリシーを学習することで、転移学習を促進すること。
• ソフト最適性と確率推論を通じて、ポリシー最適化を最適な軌道適合に理論的に結びつけること。

提案手法

• オプション選択とインラインオプションポリシーにおける探索性と頑健性を高めるために、最大エントロピー定式化を導入する。
• 異なるインラインオプションポリシーの識別性を向上させるために、情報理論的内在的報酬を採用する。
• 最適性を表現し、最適な軌道への適合に簡素化する最適化問題を簡素化するために、確率推論モデルを用いる。
• ソフトQ学習を用いたオフポリシー学習により、行動ポリシーとターゲットポリシーを分離し、更新の不安定性を低減する。
• ソフト最適性を用いたポリシー評価とポリシー改善の交互ステップにより、柔軟な行動ポリシー更新を可能にする。
• 隠れ変数を含むグラフィカルモデルを用いて、オプション選択と最適性をモデル化し、階層的意思決定を表現する。

実験結果

リサーチクエスチョン

• RQ1 オフポリシー最大エントロピー手法は、同時にオプションとインラインポリシーを学習するヒエラルキカル強化学習において、学習の安定性を向上させることができるか？
• RQ2 情報理論に基づく内在的報酬は、学習されたオプションの多様性と識別性をどのように向上させるか？
• RQ3 オプション選択ポリシーは、異なるタスクにおいて一貫性があり、明確に区別された状態-行動サブスペースを学習するか？
• RQ4 事前に学習されたオプション選択ポリシーは、新しい類似しない環境で学習を加速するために効果的に転送可能か？
• RQ5 提案されたソフト最適性フレームワーク下で、最適化問題は最適な軌道への適合と同等か？

主な発見

• SOACは、さまざまなMujocoベンチマークタスクにおいて、従来のオンポリシーおよびオフポリシー手法を顕著に上回り、優れたサンプル効率と安定した学習曲線を達成する。
• t-SNE可視化により、各オプションに関連する状態-行動空間の強い一貫性が確認され、明確で適切に学習されたサブポリシーであることが示された。
• オプション選択ポリシーは、環境の異なる状態に異なるオプションを割り当てることを学習しており、洗練されたタスク分解が行われていることを示している。
• 事前に学習されたオプション選択ポリシーの転送により、報酬関数が逆転した新しい環境（例：後退ジャンプ用のHopper-v2）での学習が著しく加速された。
• ソフト最適性とオフポリシー学習フレームワークのおかげで、ポリシー更新の不安定性が低減され、安定した学習が達成された。
• 内在的報酬機構により、多様で効果的なオプションの発見が成功裏に促進され、単一オプションの優位性による劣化問題を回避できた。