[論文レビュー] Lyapunov Barrier Policy Optimization

Harshit Sikchi, Wenxuan Zhou+1 more|arXiv (Cornell University)|Mar 16, 2021

Reinforcement Learning in Robotics参考文献 30被引用数 8

ひとこと要約

本稿では、安全な強化学習のための新規手法であるリャプノフバリアポリシー最適化（LBPO）を提案する。LBPOは、リャプノフ関数に基づくバリア関数を用いて、ポリシー更新を安全領域内に制約することで、訓練中における安全性を保証する。LBPOは、CPO や SDDPG といった最先端のベースラインと比較して制約違反を顕著に低減し、競争力ある性能を維持するとともに、バリアパrameter を用いたリスク回避のチューニングが可能である。

ABSTRACT

Deploying Reinforcement Learning (RL) agents in the real-world require that the agents satisfy safety constraints. Current RL agents explore the environment without considering these constraints, which can lead to damage to the hardware or even other agents in the environment. We propose a new method, LBPO, that uses a Lyapunov-based barrier function to restrict the policy update to a safe set for each training iteration. Our method also allows the user to control the conservativeness of the agent with respect to the constraints in the environment. LBPO significantly outperforms state-of-the-art baselines in terms of the number of constraint violations during training while being competitive in terms of performance. Further, our analysis reveals that baselines like CPO and SDDPG rely mostly on backtracking to ensure safety rather than safe projection, which provides insight into why previous methods might not have effectively limit the number of constraint violations.

研究の動機と目的

• 深層強化学習において、制約のない探索による損傷を引き起こす可能性があるという、訓練中における安全保証の欠如に対処すること。
• 収束時にのみ安全であるのではなく、訓練プロセス全体を通じて安全を保証する手法を開発すること。
• チューナブルなバリアパrameter を用いてエージェントのリスク回避度を制御するメカニズムを提供すること。
• CPO や SDDPG といった先行手法が安全を主張しているにもかかわらず、実際には多くの制約違反を経験する理由を分析すること。
• バックトラッキング回復ルールに依存せず、バリア関数を用いて安全なポリシー更新を達成できるかどうかを示すこと。

提案手法

• LBPOは、リャプノフ関数から導出されたバリア関数を追加した、制約なし最適化問題としてポリシー更新を定式化する。
• リャプノフ関数により、軌道ベースの制約を状態ベースの制約に変換し、効率的かつ安全なポリシー更新を可能にする。
• バリア関数により、更新後のポリシーがリャプノフ関数で定義された安全ポリシーの集合内に留まるよう強制し、訓練の各ステップで安全性を保証する。
• ポリシー更新の保守性を制御するチューナブルなパrameter β を導入し、ユーザーがリスク回避度を調整可能にする。
• バックトラッキングを必要とせず、バリア項を組み込んだ修正されたポリシー勾配更新により、ポリシー更新を安全領域に射影する。
• 関数近似誤差にさらされる連続制御ベンチマークで評価され、近似誤差に対して高いロバストネスを示した。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習エージェントの訓練全期間にわたり、収束時にのみではなく、常に安全性を保証する方法は何か？
• RQ2 CPO や SDDPG といった既存の安全強化学習手法が、実際には高い数の制約違反を経験する理由は何か？
• RQ3 バックトラッキング回復メカニズムに依存せず、リャプノフベースのバリア関数を用いて安全なポリシー更新を実現できるか？
• RQ4 チューナブルなバリアパrameter を用いて、RLエージェントのリスク回避度をどの程度制御できるか？
• RQ5 Q関数推定誤差が生じる訓練中において、LBPOのロバストネスはどの程度か？

主な発見

• LBPOは、複数の連続制御環境において制約違反の数をほぼゼロにまで低減し、CPO や SDDPG より顕著に優れた性能を示した。
• Q関数推定誤差に対してロバストであり、データが限られた状況下でも制約違反が低く抑えられ、CPO や SDDPG とは対照的に優れた耐性を示した。
• 実証的分析から、CPO や SDDPG は近似制約満たしを達成するためにバックトラッキング回復ルールに強く依存しており、訓練中には多数の違反が生じることが明らかになった。
• バリアパrameter β のチューニングにより、ユーザーがエージェントのリスク回避度を制御可能であり、β の値が大きいほどより保守的なポリシーが得られる。
• LBPOは、標準的なRLベンチマークで競争力ある性能を達成しながらも、強力な安全保証を維持しており、実世界への適用に適している。
• アブレーションスタディにより、バリア関数が安全性の主因であることが確認され、回復メカニズムではなく、本手法の設計原理が正当化された。