[論文レビュー] Certified Control: An Architecture for Verifiable Safety of Autonomous Vehicles

Dan Jackson, Valerie Richmond+7 more|arXiv (Cornell University)|Mar 29, 2021

Adversarial Robustness in Machine Learning参考文献 35被引用数 6

ひとこと要約

本論文は、自律走行車両のための新たな安全アーキテクチャ「認証制御」を提案する。このアーキテクチャは、主制御装置が安全の形式的証明書を生成し、それを軽量で形式的に検証可能な監視装置が実行時チェックすることで、安全の検証と意思決定を分離する。この手法により信頼されるコードベースが大幅に削減され、安全のエンド・ツー・エンド形式的検証が可能になる。実装例として、LiDARを用いた障害物検出証明書と、その形式的検証をレーシングカーのプロトタイプで実証した。

ABSTRACT

Widespread adoption of autonomous cars will require greater confidence in their safety than is currently possible. Certified control is a new safety architecture whose goal is two-fold: to achieve a very high level of safety, and to provide a framework for justifiable confidence in that safety. The key idea is a runtime monitor that acts, along with sensor hardware and low-level control and actuators, as a small trusted base, ensuring the safety of the system as a whole. Unfortunately, in current systems complex perception makes the verification even of a runtime monitor challenging. Unlike traditional runtime monitoring, therefore, a certified control monitor does not perform perception and analysis itself. Instead, the main controller assembles evidence that the proposed action is safe into a certificate that is then checked independently by the monitor. This exploits the classic gap between the costs of finding and checking. The controller is assigned the task of finding the certificate, and can thus use the most sophisticated algorithms available (including learning-enabled software); the monitor is assigned only the task of checking, and can thus run quickly and be smaller and formally verifiable. This paper explains the key ideas of certified control and illustrates them with a certificate for LiDAR data and its formal verification. It shows how the architecture dramatically reduces the amount of code to be verified, providing an end-to-end safety analysis that would likely not be achievable in a traditional architecture.

研究の動機と目的

• 学習を活用する複雑なセンシングシステムに依存する自律走行車両における安全の検証という課題に取り組む。
• 安全の検証を軽量で形式的に検証可能な監視装置に移譲することで、信頼されるコードベースを縮小する。
• 制御装置による証明書生成と監視装置による証明書チェックの分離により、エンド・ツー・エンドの形式的安全検証を可能にする。
• 規制当局や一般大衆の信頼を支える、説明可能で監査に適した安全の根拠を提供する。

提案手法

• 制御装置は、センサデータとその解釈（例：障害物なしを示すLiDAR点群）を含む安全証明書を生成する。
• 実行時監視装置は、センサデータを再処理せずに、形式的に検証された述語を用いて証明書を独立して検証する。
• 解法の発見と検証の計算的ギャップを活用し、制御装置には複雑なアルゴリズム、監視装置には単純で検証可能なチェックを実装する。
• 安全は、センサ、アクチュエータ、監視装置からなる小さな形式的検証可能な信頼される基盤によって保証され、監視装置が実行時の安全の根拠を確認する。
• 証明書形式と検証ロジックは設計段階で設計され、検証に成功すれば安全であることが保証される。
• 監視装置の検証ロジックに対して形式的検証を適用し、LiDARデータを用いたレーシングカー実装による実証的検証も実施した。

実験結果

リサーチクエスチョン

• RQ1 学習ベースのセンシングを用いた自律走行車両において、形式的検証による安全の検証が可能な安全アーキテクチャを設計できるか？
• RQ2 高い安全保証を維持しつつ、信頼されるコードベースを最小限にできるか？
• RQ3 証明書生成と検証の分離により、モノリシックシステムでは実現不可能なエンド・ツー・エンドの安全検証が可能になるか？
• RQ4 実行時における証明書による安全の検証における、実用的および形式的限界は何か？

主な発見

• 認証制御アーキテクチャにより、形式的検証を要するコードベースが最小限の信頼される基盤にまで削減され、かつては非現実的であった形式的検証が可能になった。
• LiDARに基づく証明書検証ロジックの形式的検証が成功裏に実施され、エンド・ツー・エンドの安全保証の実現可能性が示された。
• レーシングカーのプロトタイプを用いた実証的検証により、システムが不安全な行動を正しくブロックし、安全な行動を正しく通過することが確認され、実行時の動作が妥当であることが検証された。
• 本アーキテクチャは任意の安全閾値を扱えるほか、確率的またはマルチセンサ証明書への拡張も可能であるが、その拡張は形式的検証がまだ残っている。
• 制御装置のバグにより有効な証明書が生成されない場合でも、監視装置がその行動を拒否するため、安全は保たれる。ただし、安全な行動であっても無効な証明書の場合は拒否されるため、安全が維持される。