[論文レビュー] Differentiable Control Barrier Functions for Vision-based End-to-End Autonomous Driving

Wei Xiao, Tsun-Hsuan Wang+4 more|arXiv (Cornell University)|Mar 4, 2022

Advanced Neural Network Applications被引用数 11

ひとこと要約

本論文は、学習可能なバリア層を通じて安全保証を達成する、視覚ベースのエンドツーエンド自動運転のための微分可能制御バリア関数（dCBF）に基づくフレームワークを提案する。微分可能二次計画法を介してニューラルネットワークにdCBFを統合することで、雪や凍結路といった困難な条件下でも、真の状態情報にほとんど依存せずに、シミュレーションおよび実世界のテストで安全な走行維持と障害物回避を実現した。

ABSTRACT

Guaranteeing safety of perception-based learning systems is challenging due to the absence of ground-truth state information unlike in state-aware control scenarios. In this paper, we introduce a safety guaranteed learning framework for vision-based end-to-end autonomous driving. To this end, we design a learning system equipped with differentiable control barrier functions (dCBFs) that is trained end-to-end by gradient descent. Our models are composed of conventional neural network architectures and dCBFs. They are interpretable at scale, achieve great test performance under limited training data, and are safety guaranteed in a series of autonomous driving scenarios such as lane keeping and obstacle avoidance. We evaluated our framework in a sim-to-real environment, and tested on a real autonomous car, achieving safe lane following and obstacle avoidance via Augmented Reality (AR) and real parked vehicles.

研究の動機と目的

• 自動運転の認識ベースのエンドツーエンド学習システムにおける安全保証の欠如に対処すること。
• 真の状態情報が入手不可である高次元の視覚的観測空間においても安全な走行を可能にすること。
• 微分可能制御バリア関数を用いて制御方策の過剰な慎重さを低減しながら、厳密な安全制約を維持すること。
• フルスケールの自動運転車両におけるシミュレーションおよび実世界でのデプロイメントを含めたフレームワークの検証。
• 視覚入力のみを用いて、雪、凍結、視界不良などの実世界の課題に耐性を示すことを実証すること。

提案手法

• 生のカメラ入力から車両状態を推定する視覚ベースの状態推定モジュールを統合し、真の状態情報がなくても安全な制御を可能にする。
• ニューラルネットワークパイプライン内に微分可能制御バリア関数（dCBF）層を採用し、勾配降下法によるエンドツーエンド学習を可能にする。
• システムの動的挙動と安全制約を両立させるために、微分可能二次計画法（QP）を用いて安全な制御入力を計算する。
• バックプロパゲーションを用いてエンドツーエンドで訓練し、dCBFパラメータとニューラルネットワークの重みを同時に最適化する。
• 学習されたニューラルポリシーと微分可能な安全層を統合したBarrierNetアーキテクチャを採用し、解釈可能で適応可能な安全行動を実現する。
• シミュレーションから実世界への展開環境でフレームワークを検証し、拡張現実を用いて障害物をシミュレートした実車両へのデプロイメントを実施する。

実験結果

リサーチクエスチョン

• RQ1 微分可能制御バリア関数は、真の状態情報の監視なしに、エンドツーエンドの視覚ベースの自動運転に効果的に統合可能か？
• RQ2 dCBFの導入は、複雑な走行シナリオにおける学習済みニューラルコントローラーの慎重さと性能にどのように影響を与えるか？
• RQ3 明示的な状態情報が入手不可な状況において、視覚ベースの状態推定モジュールが安全な制御をどの程度サポートできるか？
• RQ4 雪、凍結、視界不良などの環境的課題がある実世界条件下で、システムはどの程度の性能を示すか？
• RQ5 障害物回避の必要がある場合にのみ、BarrierNetアーキテクチャは安全保証を維持しながら、コントローラーの参考軌道からの逸脱を許容できるか？

主な発見

• 提案されたフレームワークは、真の状態情報が与えられない状況下でも、シミュレーションおよび実世界のテストにおいて安全な走行維持と障害物回避を達成した。
• BarrierNet層は、障害物が検出された際に制御入力を動的に調整することで、衝突確率とドライバー介入の確率を著しく低減した。
• 凍結路での急カーブでは、lane-keeping用dCBFを備えたモデルが、dCBFなしのベースラインと比較して、より一貫してレーン内に留まった。これは、より優れた耐障害性を示している。
• 参考制御が障害物を回避できなかった場合、dCBF層がリアルタイムで軌道を是正した。これは、故障状態でも安全層が適切に作動することを確認した。
• 雪が激しい状況でも、視覚的手がかりが劣化した中で、障害物との安全距離を維持した。これは、dCBFに基づく安全メカニズムの耐障害性を強力に示している。
• BarrierNetの出力は、障害物やレーンの境界に近づいた場合にのみ、参考制御から逸脱した。これは、適応的かつ適切な安全確保が実現されていることを示している。