[論文レビュー] Safety Validation of Autonomous Vehicles using Assertion Checking

Christopher R. Harper, Greg Chance+4 more|arXiv (Cornell University)|Nov 8, 2021

Software Testing and Debugging Techniques被引用数 6

ひとこと要約

本論文は、英国の高速道路規則（UK Highway Code）から自然言語で記述された運転ルールを、自律走行車（AV）の安全性およびミッション性能の検証に適した形式的で機械検証可能な記述に変換する体系的な手法を提案する。アサーションタイプの分類を用いることで、地理空間データに対するSQLベースのチェックを介した実行時およびシミュレーションベースの監視が可能となり、Carlaシミュレータおよび動画分析実験を通じて、追い越しシナリオにおける実現可能性が示された。

ABSTRACT

Safety and mission performance validation of autonomous vehicles (AVs) is a major challenge. In this paper we describe a methodology for constructing and applying assertion checks to validate the behaviour of an AV operating either in simulation or in the real world. We have identified a taxonomy of assertion types and the general format of their specification, and we have developed procedures for translating driving codes of practice to yield formal logical expressions that can be monitored automatically by computer, either by direct translation or by physical modelling. We have developed examples of assertions derived from the UK Highway Code (UKHC), as an example of a code of practice. We illustrate the approach with an example of assertion checking for vehicle overtaking, using a geospatial information system in an SQL database for validation and performance assessment. We present initial simulation and runtime monitoring experiments that apply assertions relevant in this overtaking scenario together with an analysis of the safety and mission performance characteristics measured.

研究の動機と目的

• 法的に拘束力のある、人間が読みやすい運転指針に従った自律走行車の行動を検証する課題に対処すること。
• 曖昧で文脈依存性の高い運転ルールを、形式的で機械検証可能な論理的記述に体系的に変換する手法を開発すること。
• これらのアサーションを用いて、シミュレーションベースの検証およびリアルタイムの実行時監視による自律走行車の行動評価を可能にすること。
• UK Highway Codeのような規制文書を、自律走行車の安全性および性能検証の根拠として使用する実現可能性を示すこと。
• アーカイブ可能で説明可能な自律走行車の適合記録を提供することで、事故後分析および責任評価を支援すること。

提案手法

• 観察可能で測定可能な車両行動に基づく、アサーションタイプの分類を構築した。これには、基準点とトリガー条件が含まれる。
• 直接翻訳および物理的モデリング技術を用いて、UK Highway Codeの自然言語ルールを形式的論理式に変換した。
• PostgreSQL/PostGISデータベース上で実行されるSQLクエリを用いて、Carlaシミュレータからのシミュレーショントレースを検証するアサーションチェックを実装した。
• 同じアサーションフレームワークを動画データの分析に適用し、自律走行車の行動をリアルタイムで監視するエミュレーションを実現した。
• 地理情報システム（GIS）を統合し、追い越しシナリオ中の車両位置、速度、およびマニューバーシーケンスを評価した。
• シミュレーションと動画ベースの分析を組み合わせることで、アサーション違反から導出される安全性およびミッション性能指標を評価した。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、UK Highway Codeのような運転指針の自然言語ルールを、形式的で機械検証可能なアサーションに体系的に変換できるか？
• RQ2 アサーションベースの監視は、シミュレーションおよび実行時において、自律走行車の行動における安全性およびミッション性能違反をどの程度検出できるか？
• RQ3 地理空間データベースおよびSQLベースのクエリは、複雑で文脈に依存する運転ルールに対して、自律走行車の行動を効果的に検証できるか？
• RQ4 アサーションチェックは、自律走行車システムにおける説明可能性および事故後分析をどのように支援するか？
• RQ5 さまざまな運用シナリオにおいて、規制文書を自律走行車の安全性検証の基盤として使用する実現可能性はいかほどか？

主な発見

• 163件のUK Highway Codeルールが形式的アサーションに体系的に変換された。人間が読みやすいルールが機械検証可能な形式に変換可能であることが実証された。
• Carlaシミュレータを用いたシミュレーション実験では、アサーションチェックが、早すぎるレーン変更や盲点確認の不備といった追い越し手順違反を検出できた。
• 動画データに対する実行時監視により、アサーションフレームワークがリアルタイムの行動評価に有効であることが確認され、自律走行車の意思決定のトレーサビリティが可能になった。
• PostGISを活用したSQLクエリにより、車両の軌道およびマニューバーシーケンスの空間的・時間的検証が効果的に行えた。
• アサーションチェックにより、軌道が安全に見える場合でも、自律走行車が手順的ルールに準拠していないことが判明した。これは、運動論的要因を超えた行動検証の必要性を示している。
• アサーション違反が特定のセンシングおよび意思決定ステップに遡れるため、本手法は自律走行車における説明可能なAI（XAI）の基盤を提供する。事故後分析の支援にも寄与する。