[論文レビュー] First Order Optimization in Policy Space for Constrained Deep Reinforcement Learning.

Yiming Zhang, Quan Vuong+1 more|arXiv (Cornell University)|Feb 16, 2020

Reinforcement Learning in Robotics被引用数 6

ひとこと要約

FOCOPSは、非パrametricな方策空間における制約付き最適化問題を解き、その解を再びパラメトリックな方策空間に射影することで、深層強化学習における累積報酬を最大化するとともに、コスト制約を厳密に満たす1次最適化手法である。訓練中においても制約の満たされることを保証し、制約付きロボット走破タスクにおいて最先端の手法を上回る性能を発揮する。

ABSTRACT

In reinforcement learning, an agent attempts to learn high-performing behaviors through interacting with the environment, such behaviors are often quantified in the form of a reward function. However some aspects of behavior, such as ones which are deemed unsafe and are to be avoided, are best captured through constraints. We propose a novel approach called First Order Constrained Optimization in Policy Space (FOCOPS) which maximizes an agent's overall reward while ensuring the agent satisfies a set of cost constraints. Using data generated from the current policy, FOCOPS first finds the optimal update policy by solving a constrained optimization problem in the nonparameterized policy space. FOCOPS then projects the update policy back into the parametric policy space. Our approach provides a guarantee for constraint satisfaction throughout training and is first-order in nature therefore extremely simple to implement. We provide empirical evidence that our algorithm achieves better performance on a set of constrained robotics locomotive tasks compared to current state of the art approaches.

研究の動機と目的

• 安全でない行動を回避しなければならない深層強化学習における安全性制約の強制という課題に対処すること。
• 訓練プロセスの全期間にわたり制約の満たされることを保証する手法を開発すること。
• 実装が簡単で実用的かつ効果的な、シンプルな1次最適化アプローチを設計すること。
• 既存の最先端手法と比較して、制約付き制御タスクにおける性能を向上させること。

提案手法

• FOCOPSは、現在の方策から収集したデータを用いて、非パrametricな方策空間における制約付き最適化問題を定式化する。
• この制約付き問題を解くことで最適な更新方策を計算し、コスト制約が満たされることを保証する。
• この最適な更新方策をパラメトリックな方策空間に射影して、ニューラルネットワークのパラメータを更新する。
• このアプローチは1次であり、勾配情報のみに依存するため、計算が効率的で実装が簡単である。
• ポリシー勾配スタイルの更新を活用しているが、制約付き最適化フレームワークを明示的に組み込むことで、制約を厳密に扱う。
• アルゴリズムは設計上、各訓練ステップで制約の満たされることを保証しており、事後補正に依存しない。

実験結果

リサーチクエスチョン

• RQ1 方策空間における1次最適化手法が、深層強化学習における安全性制約を効果的に強制できるか？
• RQ2 FOCOPSは、走破タスクにおける制約の満たされ方とパフォーマンスの観点で、最先端の手法と比べてどのように差をつけるか？
• RQ3 最適方策をパラメトリック空間に再射影することにより、制約の遵守とパフォーマンスの向上が両立されるか？
• RQ4 シンプルな1次手法が、より複雑なアプローチよりも優れた結果を達成できるか？

主な発見

• FOCOPSは、テスト時でのみ制約を満たす手法とは異なり、訓練全期間にわたり制約の満たされることを保証する。
• FOCOPSは、最先端のアプローチと比較して、制約付きロボット走破タスクにおいて優れたパフォーマンスを達成する。
• 1次性と勾配ベースの更新に依存するため、FOCOPSは計算が効率的で、実装が容易である。
• 実験的結果から、FOCOPSが厳しいコスト制約下でも高いサンプル効率と安定した学習を維持することが示された。