[論文レビュー] Sim-to-Lab-to-Real: Safe Reinforcement Learning with Shielding and Generalization Guarantees

Kai–Chieh Hsu, Allen Z. Ren+3 more|arXiv (Cornell University)|Jan 20, 2022

Reinforcement Learning in Robotics被引用数 4

ひとこと要約

本論文は、ハミルトニアン＝ジャコビの到達可能性解析とPAC-Bayes一般化保証を組み合わせることで、実世界への展開における安全性とパフォーマンスを保証する安全な強化学習のフレームワーク、Sim-to-Lab-to-Realを提案する。二重ポリシー構造（パフォーマンスポリシーと安全意識を持つバックアップポリシー）を採用し、シミュレーションおよびラボ環境での安全な探索を可能にするとともに、未観測の実環境における安全性および一般化の確率的証明書を提供する。

ABSTRACT

Safety is a critical component of autonomous systems and remains a challenge for learning-based policies to be utilized in the real world. In particular, policies learned using reinforcement learning often fail to generalize to novel environments due to unsafe behavior. In this paper, we propose Sim-to-Lab-to-Real to bridge the reality gap with a probabilistically guaranteed safety-aware policy distribution. To improve safety, we apply a dual policy setup where a performance policy is trained using the cumulative task reward and a backup (safety) policy is trained by solving the Safety Bellman Equation based on Hamilton-Jacobi (HJ) reachability analysis. In Sim-to-Lab transfer, we apply a supervisory control scheme to shield unsafe actions during exploration; in Lab-to-Real transfer, we leverage the Probably Approximately Correct (PAC)-Bayes framework to provide lower bounds on the expected performance and safety of policies in unseen environments. Additionally, inheriting from the HJ reachability analysis, the bound accounts for the expectation over the worst-case safety in each environment. We empirically study the proposed framework for ego-vision navigation in two types of indoor environments with varying degrees of photorealism. We also demonstrate strong generalization performance through hardware experiments in real indoor spaces with a quadrupedal robot. See https://sites.google.com/princeton.edu/sim-to-lab-to-real for supplementary material.

研究の動機と目的

• シミュレーションから実世界への展開における現実ギャップを解消するため、制御された中間段階「ラボ」訓練ステージを導入すること。
• HJ到達可能性解析に基づくバックアップ安全ポリシーを統合することで、訓練および展開段階での安全性を確保すること。
• PAC-Bayes理論を用いて、未観測の実環境におけるポリシーのパフォーマンスおよび安全性に関する確率的で分布に依存しない保証を提供すること。
• シャーディングと統計的境界の組み合わせにより、一般化を証明することで、シミュレーションと実世界の間のギャップを埋めること。
• 子供がいる家庭や動的変化の激しい屋内空間など、安全が求められる環境におけるRLポリシーの信頼性ある展開を可能にすること。

提案手法

• シミュレーション内で二重ポリシー系を訓練：タスク報酬最適化のためのパフォーマンスポリシーと、HJ到達可能性解析を用いた安全ベルマン方程式に基づくバックアップ安全ポリシー。
• ラボ段階で監視制御方式（シャーディング）を適用し、安全評価者値がしきい値を超えた場合にパフォーマンスポリシーの不適切な行動を上書きする。
• PAC-Bayesフレームワークを用いて、最悪の環境変動を考慮した場合の期待パフォーマンスおよび安全性の下限を導出する。
• シミュレーションからラボへの移行段階で、多様な環境への一般化を可能にするために、潜在変数分布に条件付けたポリシーを採用する。
• 実世界のフォトリアルな外観および力学的特性を再現する現実的なシミュレーテッド環境を用いて、ラボ段階でポリシー分布をファインチューニングする。
• 実ロボットの力学的特性およびカメラの姿勢を特定するためのシステム同定を実施し、ラボ訓練の忠実性を確保するとともに、実環境への一般化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 シャーディングを備えた二重ポリシー枠組みは、パフォーマンスを損なわせることなく、シミュレーションからラボへの訓練段階で安全な探索を保証できるか？
• RQ2 PAC-Bayes一般化境界は、未観測の実環境における安全性およびパフォーマンスに関する確率的保証をどのように提供できるか？
• RQ3 従来のシミュレーションから実世界への展開手法と比較して、本フレームワークは実環境展開段階での安全違反をどの程度低減できるか？
• RQ4 潜在変数分布の選択および多様性は、一般化性能および安全性のロバストネスにどのように影響を与えるか？
• RQ5 ラボと実環境の間でわずかな分布シフトが生じた場合でも、本フレームワークは証明可能な安全性およびパフォーマンス保証を提供できるか？

主な発見

• バックアップポリシーによる効果的なシャーディングのおかげで、高い多様性を持つ環境でも訓練段階での安全違反が顕著に低減された。
• 十分な潜在多様性（例：β=2）がある場合、ポリシー分布は未観測のテスト環境に対しても良好に一般化され、安全性を維持したままである。
• 実際の屋内空間で四足歩行ロボットを用いたハードウェア実験により、優れた一般化性能と安全性が実証され、理論的保証が裏付けられた。
• PAC-Bayes境界は、最悪の環境期待値に対しても、期待パフォーマンスおよび安全性のタイトな確率的保証下限を提供した。
• 本手法は環境の分布シフトに対してロバストであり、環境モデル化に関する現実的な仮定のもとでも理論的保証が成立した。
• 理論的保証に裏付けられた実証的検証を経て、本フレームワークは安全性が求められる実世界環境におけるRLポリシーの展開を可能にした。