[論文レビュー] Constrained Policy Optimization

Joshua Achiam, David Held+2 more|arXiv (Cornell University)|May 30, 2017

Reinforcement Learning in Robotics参考文献 20被引用数 111

ひとこと要約

Constrained Policy Optimization (CPO) は、代理目的関数とトラスト・リージョン更新を用い、訓練中の制約充足を保証し、リターンを改善する、制約付き強化学習のポリシー探索手法です。

ABSTRACT

For many applications of reinforcement learning it can be more convenient to specify both a reward function and constraints, rather than trying to design behavior through the reward function. For example, systems that physically interact with or around humans should satisfy safety constraints. Recent advances in policy search algorithms (Mnih et al., 2016, Schulman et al., 2015, Lillicrap et al., 2016, Levine et al., 2016) have enabled new capabilities in high-dimensional control, but do not consider the constrained setting. We propose Constrained Policy Optimization (CPO), the first general-purpose policy search algorithm for constrained reinforcement learning with guarantees for near-constraint satisfaction at each iteration. Our method allows us to train neural network policies for high-dimensional control while making guarantees about policy behavior all throughout training. Our guarantees are based on a new theoretical result, which is of independent interest: we prove a bound relating the expected returns of two policies to an average divergence between them. We demonstrate the effectiveness of our approach on simulated robot locomotion tasks where the agent must satisfy constraints motivated by safety.

研究の動機と目的

• 無制約の報酬最適化を超えて、強化学習における安全性と制約充足を動機づける。
• 制約遵守の保証を備えた CMDP を扱える汎用的なポリシー探索アルゴリズムの開発。
• 制約下での平均ポリシー発散とポリシー性能を結ぶ理論的基盤の提供。
• 高次元制御のためのニューラルネットワークポリシーの訓練を可能にしつつ、安全関連の制約を課す。

提案手法

• CMDP向けのトラスト・リージョン方策最適化法である CPO を導入し、単調な改善と制約充足を保証する。
• ポリシー間のリターン差をそれらの平均的な発散と関連づける新たな性能境界を導出する。
• サンプルから推定可能な代理目的関数と制約を用いて、実用的な更新を可能にする。
• 高次元での更新を効率的に解くための、実用的な共役勾配法に基づくデュアル最適化手法を提案する。
• 費用を形作って、コスト自体ではなくコストの上限を課すことで制約充足を強化する。

実験結果

リサーチクエスチョン

• RQ1 学習中に CMDP の制約を遵守しつつ、ポリシー探索アルゴリズムがリターンの単調な改善を提供できるか？
• RQ2 平均的なポリシー発散の下で、あるポリシーから別のポリシーへ移る際の性能のばらつきをどのように界設定できるか？
• RQ3 トラスト・リージョンに基づく更新は、ニューラルネットワークポリシーの実用的でスケーラブルな制約付きポリシー最適化を可能にするか？
• RQ4 コスト整形（制約の上限化）が実際の安全制約の遵守にどのように影響するか？

主な発見

• CPO は、シミュレートされたロボットの移動タスクにおいて、高次元のニューラルポリシーの訓練全体を通じてほぼ制約充足を達成する。
• Primal-Dual Optimization (PDO) と比較して、CPO は訓練中の制約遵守をより確実に行い、しばしばより良いリターンを生み出す。
• 補助コストの上限化による制約整形は、性能を犠牲にすることなく真の安全制約の遵守を改善する。
• 固定ペナルティ法はペナルティ値に敏感だが、CPO は報酬と制約のトレードオフを自動的にバランスさせる。
• 実証的結果は TRPO の非制約ポリシーが制約を違反することを示しており、制約付き最適化の必要性を示している。