[論文レビュー] Reachability Constrained Reinforcement Learning

Dongjie Yu, Haitong Ma+2 more|arXiv (Cornell University)|May 16, 2022

Reinforcement Learning in Robotics被引用数 6

ひとこと要約

本稿では、到達可能性制約付き強化学習（RCRL）を提案する。これは、ハミルトニアン＝ジャコビ到達可能性解析を用いて、安全制約を恒常的に満たすことができる状態の最大部分集合（最大可能集合）を特定する、新しいCRL手法である。安全価値関数を用いて可能集合をモデル化し、到達可能性に基づく自己整合性を課すことにより、局所最適な方策への収束を達成するとともに、制約の満たしを保証する。安全制御ベースラインやCRLベースラインと比較して、Safe-Control-Gym や Safety-Gym といったベンチマークで安全性とパフォーマンスの両面で優れている。

ABSTRACT

Constrained reinforcement learning (CRL) has gained significant interest recently, since safety constraints satisfaction is critical for real-world problems. However, existing CRL methods constraining discounted cumulative costs generally lack rigorous definition and guarantee of safety. In contrast, in the safe control research, safety is defined as persistently satisfying certain state constraints. Such persistent safety is possible only on a subset of the state space, called feasible set, where an optimal largest feasible set exists for a given environment. Recent studies incorporate feasible sets into CRL with energy-based methods such as control barrier function (CBF), safety index (SI), and leverage prior conservative estimations of feasible sets, which harms the performance of the learned policy. To deal with this problem, this paper proposes the reachability CRL (RCRL) method by using reachability analysis to establish the novel self-consistency condition and characterize the feasible sets. The feasible sets are represented by the safety value function, which is used as the constraint in CRL. We use the multi-time scale stochastic approximation theory to prove that the proposed algorithm converges to a local optimum, where the largest feasible set can be guaranteed. Empirical results on different benchmarks validate the learned feasible set, the policy performance, and constraint satisfaction of RCRL, compared to CRL and safe control baselines.

研究の動機と目的

• 従来の制約付き強化学習（CRL）には、期待割引累積コストに依存するが、恒常的な状態制約の満たしを保証しないという、きめ細かい安全性保証の欠如があることに対処すること。
• CBF や SI といった既存の安全制御手法が、事前定義されたエネルギー関数に依存するあまりに慎重な方法であるのを克服すること。これらの手法は可能集合を縮小させる。
• モデルフリー強化学習に到達可能性解析を統合し、理論的に最大の可能集合を特定することで、より少ない保守的で、より高いパフォーマンスを発揮する方策を可能にすること。
• 到達可能性解析を用いて自己整合性条件を確立し、安全価値関数が可能集合を正確に表現することを保証すること。
• 提案手法のアルゴリズムが、最大可能集合全体にわたり恒常的な安全性を維持する局所最適な方策に収束することを証明すること。

提案手法

• 安全価値関数を導入し、時間経過に伴う制約違反の最悪ケースを特徴づける。この関数の負のレベル集合が可能集合を定義する。
• ハミルトニアン＝ジャコビ到達可能性解析に基づく、新しい自己整合性条件を定式化し、安全価値関数が真の到達可能集合と整合していることを保証する。
• 安全価値関数を用いて可能集合をCRLフレームワークに埋め込み、従来のコストベースの制約に代えて使用する。
• 政策と安全価値関数を同時に最適化するためのマルチタイムスケール確率的近似アルゴリズムを用い、理論的収束保証を有する。
• オフポリシーのリプレイバッファと関数近似を用いてアルゴリズムを学習させ、安全価値関数を到達可能性に基づく可能性に合わせて更新する。

実験結果

リサーチクエスチョン

• RQ1 モデルフリー強化学習に到達可能性解析を効果的に統合し、安全制御のための正確で最大の可能集合を定義できるか？
• RQ2 安全価値関数をどのように構築すれば、その負のレベル集合が、安全を恒常的に維持できる状態の最大集合に一致するか？
• RQ3 到達可能性解析から導出された自己整合性条件を課すことにより、CBF や SI に基づく手法と比較して、より許容範囲が広く、パフォーマンスの高い方策が得られるか？
• RQ4 提案されたアルゴリズムが、最大可能集合全体にわたり制約の満たしを保証する局所最適な方策に収束できるか？
• RQ5 複雑で高次元の環境において、RCRLのパフォーマンスと安全性は、標準的なCRLおよび安全制御ベースラインと比較してどうなるか？

主な発見

• RCRLは到達可能性解析を用いて最大可能集合を的確に特定し、CBF や SI といった従来のエネルギー関数ベース手法の保守的すぎる性質を回避した。
• RCRLが学習した安全価値関数は、可能集合を正確に表現しており、状態空間の射影における実証的検証で、正しい負のレベル集合が得られている。
• Safe-Control-Gym のクアドロコプター課題において、RCRLは全評価実行で制約違反率が 0.0% を達成し、SAC-CBF や SAC-SI を上回った。
• Safety-Gym ベンチマークにおいて、RCRLはCRLベースラインを上回る平均報酬を達成しながら、完全な制約の満たしを維持した。
• 理論的分析により、マルチタイムスケール確率的近似フレームワーク下で、局所最適な方策に収束することが確認され、最大可能集合全体にわたり恒常的な安全性が保証された。