[論文レビュー] Learning Barrier Certificates: Towards Safe Reinforcement Learning with Zero Training-time Violations

Yuping Luo, Tengyu Ma|arXiv (Cornell University)|Aug 4, 2021

Adversarial Robustness in Machine Learning被引用数 8

ひとこと要約

本稿では、障害物関数、動的モデル、方策を反復的に共同学習することで、訓練時間中の安全違反をゼロに抑える共同訓練強化学習アルゴリズム、CRABSを提案する。敵対的訓練を用いて安全を保証する障害物関数を学習し、方策と動的モデルの最適化を同時に実行することで、従来の手法が何百もの安全でない相互作用を必要とする低次元連続制御タスクにおいても、訓練時間中に安全違反をゼロに達成する。

ABSTRACT

Training-time safety violations have been a major concern when we deploy reinforcement learning algorithms in the real world. This paper explores the possibility of safe RL algorithms with zero training-time safety violations in the challenging setting where we are only given a safe but trivial-reward initial policy without any prior knowledge of the dynamics model and additional offline data. We propose an algorithm, Co-trained Barrier Certificate for Safe RL (CRABS), which iteratively learns barrier certificates, dynamics models, and policies. The barrier certificates, learned via adversarial training, ensure the policy's safety assuming calibrated learned dynamics model. We also add a regularization term to encourage larger certified regions to enable better exploration. Empirical simulations show that zero safety violations are already challenging for a suite of simple environments with only 2-4 dimensional state space, especially if high-reward policies have to visit regions near the safety boundary. Prior methods require hundreds of violations to achieve decent rewards on these tasks, whereas our proposed algorithms incur zero violations.

研究の動機と目的

• 安全な強化学習アルゴリズムを開発し、安全でない状況にさらされる訓練時間中の違反をゼロに抑えること。
• 動的特性やオフラインデータに関する事前知識がなく、安全ではあるが報酬が低い初期方策しか入手できない困難な状況で動作すること。
• 障害物関数、方策、動的モデルを反復的なループで共同学習し、認証された安全領域を拡大するとともに、データの使用効率を向上させること。
• 従来の制約付き方策最適化手法とは異なり、安全でない軌道に依存せずに、安全制約の学習を実現すること。
• 手作業で設計された障害物関数を超えて、エンドツーエンドで障害物関数を学習することで、モデルベースの安全な強化学習を拡張すること。

提案手法

• CRABSは、障害物関数、方策、動的モデルを交互に反復的に共同訓練する。
• 障害物関数は敵対的訓練により学習され、状態空間の安全領域を認証することで、方策が安全領域内に留まるように保証する。
• 正則化項を用いて、より大きな認証された領域を促進し、安全制約内でのより良い探索を可能にする。
• 動的モデルは、認証された安全領域からのみ収集されたデータを用いて改善され、正確性とキャリブレーションが向上する。
• 本手法は、現在および過去の方策の軌道に特化した障害物関数を設計し、関連性の高い高報酬領域に表現能力を集中させる。
• 安全は、学習済みの障害物関数のスーパーレベル集合内でのみ環境との相互作用を許可することで実現され、これが認証された安全領域を定義する。

実験結果

リサーチクエスチョン

• RQ1 動的特性やオフラインデータに関する事前知識がなく、訓練時間中の安全違反をゼロに抑える安全な強化学習を実現できるか？
• RQ2 障害物関数の敵対的訓練により、離散化を伴わず高次元状態空間における安全な探索が可能になるか？
• RQ3 障害物関数、方策、動的モデルの共同学習は、逐次的または独立した学習と比較して、安全性とデータ使用効率をどのように向上させるか？
• RQ4 学習済みの障害物関数は、手作業で設計されたまたは後から追加された安全制約と比較して、安全性と報酬の両面でどれほど優れているか？
• RQ5 共同学習を通じて、認証された安全領域を反復的に拡大し、安全境界付近に高報酬方策を学習可能にするか？

主な発見

• CRABSは、2〜4次元の連続制御タスクのスイートにおいて、安全境界付近での探索を要する環境も含め、訓練時間中の安全違反をゼロに達成した。
• 90°の安全制約下でロッドの角度を最大化することを目的とする「Swing」環境では、安全違反を数百件からゼロに削減した。
• 2次元の逆パンドラム環境において、従来の手法は少なくとも80件の安全でない軌道を必要としていたが、CRABSは違反をゼロに抑えた。
• 安全領域を拡大する正則化項のおかげで、探索が向上し、高報酬方策への収束が可能になった。
• 方策と動的モデルとを共同で学習することで、独立した学習と比較して、より正確でキャリブレーションのとれた動的モデルが得られた。
• 本手法は、安全と不安全な軌道を対比させる従来の安全強化学習手法を上回り、それらは本質的に一部の安全でない相互作用を必要としていた。