[論文レビュー] Safe Autonomous Racing via Approximate Reachability on Ego-vision

Bingqing Chen, Jonathan Francis+3 more|arXiv (Cornell University)|Oct 14, 2021

Adversarial Robustness in Machine Learning参考文献 42被引用数 5

ひとこと要約

本論文では、自律走行の安全な強化学習フレームワークSAGEを提案する。SAGEは、ハミルトニアン＝ジャコビ（HJ）到達可能性理論を用いて、エゴカメラの視覚と速度から直接安全価値を学習することで、低遅延な安全確認を可能にする。従来、HJ到達可能性では高次元の視覚入力に対応できなかったが、この手法ではニューラル近似を用いて安全評価者を学習し、Safety GymおよびLearn-to-Raceベンチマークで制約違反が著しく少ない状態で最先端の性能を達成した。

ABSTRACT

Racing demands each vehicle to drive at its physical limits, when any safety infraction could lead to catastrophic failure. In this work, we study the problem of safe reinforcement learning (RL) for autonomous racing, using the vehicle's ego-camera view and speed as input. Given the nature of the task, autonomous agents need to be able to 1) identify and avoid unsafe scenarios under the complex vehicle dynamics, and 2) make sub-second decision in a fast-changing environment. To satisfy these criteria, we propose to incorporate Hamilton-Jacobi (HJ) reachability theory, a safety verification method for general non-linear systems, into the constrained Markov decision process (CMDP) framework. HJ reachability not only provides a control-theoretic approach to learn about safety, but also enables low-latency safety verification. Though HJ reachability is traditionally not scalable to high-dimensional systems, we demonstrate that with neural approximation, the HJ safety value can be learned directly on vision context -- the highest-dimensional problem studied via the method, to-date. We evaluate our method on several benchmark tasks, including Safety Gym and Learn-to-Race (L2R), a recently-released high-fidelity autonomous racing environment. Our approach has significantly fewer constraint violations in comparison to other constrained RL baselines in Safety Gym, and achieves the new state-of-the-art results on the L2R benchmark task. We provide additional visualization of agent behavior at the following anonymized paper website: https://sites.google.com/view/safeautonomousracing/home

研究の動機と目的

• 1秒未満の意思決定と物理的限界での走行が安全リスクを高める高速自律走行の課題に対処する。
• 従来の到達可能性手法がスケーラビリティの制限により失敗する高次元の視覚的観測空間において、リアルタイムでの安全確認を可能にする。
• ハミルトニアン＝ジャコビ（HJ）到達可能性を制約付きマルコフ決定過程（CMDP）フレームワークに統合し、安全と性能の学習を分離する。
• RGBカメラ入力と速度から直接HJベースの安全価値を学習する安全評価者を開発し、完全な状態推定の必要性を回避する。
• 正確な動的モデルに依存せずに、高精細な走行シミュレータで強力な安全と高い性能を達成する。

提案手法

• ハミルトニアン＝ジャコビ（HJ）到達可能性理論を用いて、時間区間内に状態行動ペアが安全かどうかを検証する安全価値関数 $ Q_S(x,u) $ を定義する。
• エゴカメラのRGB画像と車両速度から直接HJ安全価値関数を近似するニューラルネットワークベースの安全評価者を学習させ、高次元入力処理を可能にする。
• 学習プロセスを2つの独立した方策に分解する：走行速度と軌道最適化を目的とするパフォーマンス方策、および $ Q_S(x,u) < \epsilon $ の場合に介入する安全制御方策。
• 安全評価者をオフポリシー経験を用いて学習する際、HJベルマン更新則を適用し、理論的かつ安全な保証を確保する。
• パフォーマンスと安全のための別々の最適化器を備えたデュアル・クリティック・アクタ・クリティック構造を採用し、エントロピー正則化とターゲットネットワークを統合する。
• リプレイバッファとオフポリシーのデータを活用して学習を安定化させ、リアルタイム走行環境における低遅延推論を最適化するハイパーパrameterを調整する。

実験結果

リサーチクエスチョン

• RQ1 ハミルトニアン＝ジャコビ（HJ）到達可能性は、ニューラル近似を用いることで、エゴカメラのRGB画像などの高次元視覚観測に効果的にスケーリング可能か？
• RQ2 制約付き強化学習フレームワークにHJ到達可能性を統合することで、標準的なベースラインと比較して高速自律走行における安全とパフォーマンスが向上するか？
• RQ3 視覚入力のみで学習された安全評価者は、明示的な状態推定を経由せずに、信頼性が高く低遅延の安全確認を達成できるか？
• RQ4 高精細な走行環境において、SAGEフレームワークは制約付きRLベースラインと比較して、制約違反とタスク完了率の点でどのように差をつけるか？
• RQ5 安全マージン $ \epsilon $ は、自律走行におけるパフォーマンスと安全のトレードオフにどの程度影響を与えるか？

主な発見

• SAGEはLearn-to-Raceベンチマークで新たな最先端性能を達成し、エピソード完了率（ECP）、平均補正トラックスピード（AATS）、軌道効率（TrE）といったすべての走行品質指標で、過去のあらゆる手法を上回った。
• Safety Gymでは、他の制約付きRLベースラインと比較して、SAGEは著しく少ない制約違反を示し、優れた安全強化性能を実証した。
• エゴビジョンからの学習により、安全評価者を低遅延で信頼性高く実行可能であり、1秒未塔の意思決定を可能にした。
• 本手法は、HJ到達可能性を用いた研究として、これまでに観測された最高次元のシステムに直接安全価値を学習した。
• 安全マージン $ \epsilon = 3 $ の場合、SAGEは高いECPと安定したパフォーマンスを維持したが、同じマージンでSafeSACを用いた場合、改善はほとんど見られず、SAGEの優れた安全意識を持つ方策学習の有効性を示した。
• SafeRandomベースラインの結果から、80％以上のラップ完了率を達成するには $ \epsilon = 4.2 $ が必要であることが示され、SAGEで採用された $ \epsilon $ の妥当性と頑健性が裏付けられた。