[論文レビュー] Soft-Robust Actor-Critic Policy-Gradient

Esther Derman, Daniel J. Mankowitz+2 more|arXiv (Cornell University)|Mar 11, 2018

Reinforcement Learning in Robotics参考文献 21被引用数 19

ひとこと要約

本稿では、遷移モデルの分布上での最適化により、過剰に慎重な伝統的なロバストMDPを避けることで、攻撃的さとモデル不確実性に対するロバスト性のバランスを取る方策を学習するSoft-Robust Actor-Critic (SR-AC)アルゴリズムを提案する。この手法は収束保証付きのオンライン確率的近似を用い、モデル不確実性下での連続的制御環境における優れた性能を示している。

ABSTRACT

Robust Reinforcement Learning aims to derive optimal behavior that accounts for model uncertainty in dynamical systems. However, previous studies have shown that by considering the worst case scenario, robust policies can be overly conservative. Our soft-robust framework is an attempt to overcome this issue. In this paper, we present a novel Soft-Robust Actor-Critic algorithm (SR-AC). It learns an optimal policy with respect to a distribution over an uncertainty set and stays robust to model uncertainty but avoids the conservativeness of robust strategies. We show the convergence of SR-AC and test the efficiency of our approach on different domains by comparing it against regular learning methods and their robust formulations.

研究の動機と目的

• 伝統的なロバスト強化学習の過剰な慎重さを解消するため、攻撃的行動とロバスト行動の間を滑らかに補間するソフトロバストフレームワークを導入すること。
• 不確実性集合上の分布最適化を介してソフトロバスト性を統合する、オンラインでスケーラブルなアクタ・クリティックアルゴリズムの開発。
• 不確実性集合および分布に関する弱い仮定の下で、提案されたSR-ACアルゴリズムの理論的収束保証の提供。
• 先行研究が限定的であった連続的アクション空間におけるソフトロバスト方策の有効性の実証。
• オフライン計算、スケーラビリティの欠如、収束証明の不在といった、先行ロバスト手法の限界の克服。

提案手法

• SR-ACアルゴリズムは、不確実性集合内の遷移モデルの分布を用いて、最悪ケースシナリオの平均化を定義するソフトロバスト目的関数を導入し、過剰な慎重さを低減する。
• スケーラビリティを確保するため、オンラインでアクターとクリティックを更新するための確率的近似を採用し、大規模で連続的な状態・行動空間に適応する。
• 関数近似を用いて、次元の呪いを緩和する低次元の特徴空間で価値関数を表現する。
• 収束は、平均遷移モデルの定常性および不確実性集合と方策空間の間の整合性条件といった弱い仮定の下で証明される。
• モデルパラメータにベイズ的事前分布を導入せず、不確実性集合を固定された可能なモデルの集合とみなし、その上に分布を定義してロバスト性を実現する。

実験結果

リサーチクエスチョン

• RQ1 ソフトロバストフレームワークは、伝統的なロバストMDPの過剰な慎重さを軽減しつつ、モデル不確実性に対する保護を維持できるか？
• RQ2 ソフトロバスト性を統合したオンラインアクタ・クリティックアルゴリズムは、モデル不確実性の下でも収束保証を達成できるか？
• RQ3 ソフトロバスト性は、標準的およびロバスト強化学習のベースラインと比較して、連続的制御環境でどのように性能を発揮するか？
• RQ4 本手法は、ロバスト性や性能を犠牲にすることなく、大規模かつ高次元の状態・行動空間へスケーリング可能か？
• RQ5 最悪ケース仮定やオフライン計画に依存せずに、攻撃的探索とロバスト性のバランスを取る方法はあるか？

主な発見

• 不確実性集合および分布に関する弱い仮定の下で、SR-ACアルゴリズムは局所最適な方策に収束し、ソフトロバスト学習に対する理論的保証を提供する。
• モデル不確実性を伴う環境において、ソフトロバストエージェントは標準的およびロバスト方策を上回る性能を示し、特に連続的アクション空間で顕著である。
• 従来のロバストMDPよりもリスクとリターンのトレードオフをより良く達成しており、過剰な慎重さを避けつつもロバスト性を維持している。
• オンライン学習と関数近似のおかげで、計算的にスケーラブルであり、大規模なドメインへの応用を可能としている。
• 実験的結果から、ソフトロバスト方策は攻撃的行動とロバスト行動の間を効果的に補間できており、最悪ケースシナリオへの過剰適合を避けることができる。
• 本フレームワークは、収束証明を伴い、連続的制御において実効性が実証されたオンラインアクタ・クリティック手法にソフトロバスト性を統合した最初のものである。