[論文レビュー] Safe Exploration in Reinforcement Learning: A Generalized Formulation and Algorithms

Akifumi Wachi, Wataru Hashimoto+2 more|arXiv (Cornell University)|Oct 5, 2023

Reinforcement Learning in Robotics被引用数 4

ひとこと要約

本論文は、一般化された安全な探索（GSE）の定式化と、不確実性の定量を組み合わせることで強化学習の訓練中に高い確率で安全を保証するメタアルゴリズムMASEを提案する。MASEは探索中でさえも安全制約違反を防ぎ、Safety Gymおよびグリッドワールドのベンチマークで最先端の手法を上回り、いかなる安全違反も発生させない。

ABSTRACT

Safe exploration is essential for the practical use of reinforcement learning (RL) in many real-world scenarios. In this paper, we present a generalized safe exploration (GSE) problem as a unified formulation of common safe exploration problems. We then propose a solution of the GSE problem in the form of a meta-algorithm for safe exploration, MASE, which combines an unconstrained RL algorithm with an uncertainty quantifier to guarantee safety in the current episode while properly penalizing unsafe explorations before actual safety violation to discourage them in future episodes. The advantage of MASE is that we can optimize a policy while guaranteeing with a high probability that no safety constraint will be violated under proper assumptions. Specifically, we present two variants of MASE with different constructions of the uncertainty quantifier: one based on generalized linear models with theoretical guarantees of safety and near-optimality, and another that combines a Gaussian process to ensure safety with a deep RL algorithm to maximize the reward. Finally, we demonstrate that our proposed algorithm achieves better performance than state-of-the-art algorithms on grid-world and Safety Gym benchmarks without violating any safety constraints, even during training.

研究の動機と目的

• 強化学習における既存の安全な探索問題を統一的に取りまとめる1つの一般化された定式化を提示すること。
• 訓練中に高い確率で安全を保証するとともに、効果的な方策最適化を可能にするメタアルゴリズムMASEを開発すること。
• 理論的に整合性のある安全な強化学習と実用的なディープ強化学習の応用のギャップを埋めるために、理論的保証と実証的性能の両方を提供すること。
• 学習効率や報酬性能を犠牲にすることなく、安全な探索を達成できることを示すこと。
• 安全な臨床的環境における理論的分析と実用的展開を両立できるフレームワークを提供すること。

提案手法

• 累積的、状態的、即時的な安全制約を含む包括的な枠組みとして、一般化された安全な探索（GSE）問題を定式化すること。
• 不確実性の定量器を用いて、安全制約違反が発生する前に予測するように、非制約付き強化学習アルゴリズムと統合されたメタアルゴリズムMASEを設計すること。
• 2つの変種を実装：理論的安定性と近似的最適性の保証を提供するGLM-MASE（一般化線形モデルを用いる）、およびディープ強化学習と組み合わせたガウス過程を用いたGP-MASE（実用的展開を目的）。
• 安全を強制するための緊急停止メカニズムを導入し、実際の制約違反が発生する前に不安全な行動をペナルティ化すること。
• 不確実性の定量を用いて、安全制約違反の確率を推定し、事前の回避を可能にすること。
• 安全制約下でも安定した学習を保証するため、変換されたMASE環境でTRPOをポリシー最適化に活用すること。

実験結果

リサーチクエスチョン

• RQ1 統一的な定式化は、強化学習における既存の安全な探索問題を一般化できるか？
• RQ2 メタアルゴリズムは、強い学習性能を維持しながら、訓練中に高い確率で安全を保証できるか？
• RQ3 不確実性の定量と緊急停止メカニズムを組み合わせることで、制約違反なしに安全な探索が可能になるか？
• RQ4 MASEは、最先端の安全な強化学習アルゴリズムと比較して、安全性および報酬性能の面で優れているか？
• RQ5 Safety Gymのような複雑で高次元の環境においても、理論的な安全保証を維持できるか？

主な発見

• MASEは、Safety Gymおよびグリッドワールドのベンチマークにおいて、訓練中でさえも全エピソードですべての安全制約を満たす。これに対して、ベースライン手法は頻繁に制約違反を起こす。
• MASEは、最先端の手法Sauté RLを上回る累積報酬性能を達成しながら、完全な安全遵守を維持している。
• TRPO、TRPO-Lagrangian、CPOのベースライン手法は、特に初期の訓練段階で繰り返し安全制約に違反している。
• MASEの収束したポリシーは、他のベースラインと比較して累積報酬性能が劣っているが、著者らはこれは不確実性の定量器と緊急停止メカニズムの保守的性質に起因すると説明している。
• GLM-MASEは、一般化線形モデルの仮定の下で、安全保証と近似的最適性の保証を提供する。
• GP-MASEは、ガウス過程による不確実性推定とディープ強化学習を効果的に統合し、高次元環境における実用的展開を可能にした。