[論文レビュー] Collision Avoidance Testing of the Waymo Automated Driving System

Kristofer D. Kusano, Kurt Beatty+4 more|arXiv (Cornell University)|Dec 15, 2022

Traffic and Road Safety被引用数 16

ひとこと要約

本論文では、他車両が引き起こす高リスクの衝突状況を想定した、SAEレベル4自動運転システムを評価するシナリオベースのシミュレーションフレームワークであるWaymoの衝突回避テスト（CAT）手法を提示する。実世界および合成されたセンサデータを用いて、人間ドライバーの基準モデルに対する回避行動をテストし、サンフランシスコおよびフェニックスのテスト環境においてWaymoのシステムが衝突率がほぼゼロであることを示した。

ABSTRACT

This paper describes Waymo's Collision Avoidance Testing (CAT) methodology: a scenario-based testing method that evaluates the safety of the Waymo Driver Automated Driving Systems' (ADS) intended functionality in conflict situations initiated by other road users that require urgent evasive maneuvers. Because SAE Level 4 ADS are responsible for the dynamic driving task (DDT), when engaged, without immediate human intervention, evaluating a Level 4 ADS using scenario-based testing is difficult due to the potentially infinite number of operational scenarios in which hazardous situations may unfold. To that end, in this paper we first describe the safety test objectives for the CAT methodology, including the collision and serious injury metrics and the reference behavior model representing a non-impaired eyes on conflict human driver used to form an acceptance criterion. Afterward, we introduce the process for identifying potentially hazardous situations from a combination of human data, ADS testing data, and expert knowledge about the product design and associated Operational Design Domain (ODD). The test allocation and execution strategy is presented next, which exclusively utilize simulations constructed from sensor data collected on a test track, real-world driving, or from simulated sensor data. The paper concludes with the presentation of results from applying CAT to the fully autonomous ride-hailing service that Waymo operates in San Francisco, California and Phoenix, Arizona. The iterative nature of scenario identification, combined with over ten years of experience of on-road testing, results in a scenario database that converges to a representative set of responder role scenarios for a given ODD. Using Waymo's virtual test platform, which is calibrated to data collected as part of many years of ADS development, the CAT methodology provides a robust and scalable safety evaluation.

研究の動機と目的

• SAEレベル4自動運転システムの高リスク衝突状況における安全性を評価する、スケーラブルでシナリオベースのテスト手法を開発すること。
• 衝突率および重傷率といった測定可能な安全性指標を定義し、自動運転システムのパフォーマンスを評価すること。
• 非障害的で注視状態のドライバーを模倣する基準行動モデルを確立し、自動運転システムのパフォーマンス受容基準を設定すること。
• 運用設計ドメイン（ODD）の専門的知識と、実世界のドライブデータおよびADSテストデータを統合して、危険なシナリオを同定・優先順位付けすること。
• 10年間にわたる道路走行テストを経て、特定のODD向けの応答役割シナリオの代表的セットに収束するための反復的シナリオの最適化を可能にすること。

提案手法

• 他車両が引き起こす緊急回避を要する衝突状況に焦点を当てたシナリオベースのテストフレームワークを構築すること。
• テストトラック、実世界走行、およびシミュレーテッドセンサからのセンサデータを用いて、高精細な仮想テスト環境を構築すること。
• 10年間にわたるADS開発で得られた実世界データに合わせて仮想テストプラットフォームをキャリブレーションし、現実性と正確性を確保すること。
• 注視状態の非障害的ドライバーの行動を模倣する基準人間ドライバー行動モデルを定義し、パフォーマンスベンチマークとしての役割を果たすこと。
• 統計的手法およびシミュレーションベースのテスト割り当て戦略を適用し、高リスクシナリオを評価の優先順位に置くこと。
• 仮想環境でテストを実行し、ADSが定められた安全性指標のもとで衝突を回避し、怪我のリスクを最小限に抑えるかどうかを評価すること。

実験結果

リサーチクエスチョン

• RQ1 SAEレベル4自動運転システムに対して、スケーラブルで代表的な高リスク衝突シナリオのセットをどのように同定できるか。
• RQ2 Waymoドライバー・システムは、高リスクシナリオにおける緊急回避行動において、非障害的人間ドライバーと同等か、それ以上の性能を示せるか。
• RQ3 実世界および合成センサデータを用いたシミュレーションベースのテストは、安全に重要な状況下での衝突回避パフォーマンスを効果的に評価できるか。
• RQ4 10年間にわたる道路走行テストを通じた反復的シナリオ同定および最適化は、シナリオデータベースの代表性和カバレッジをどのように向上させるか。
• RQ5 CAT手法を用いて、実世界の運用環境でWaymoドライバー・システムが達成した測定可能な衝突率および重傷率は何か。

主な発見

• CAT手法は、10年以上にわたる道路走行テストの反復的最適化を通じて、収束し代表的な応答役割シナリオのセットを成功裏に同定した。
• サンフランシスコおよびフェニックスでのテストにおいて、Waymoドライバー・システムはシミュレートされた衝突状況でほぼゼロの衝突率を示し、安全に重要な状況下での優れたパフォーマンスを示した。
• 回避行動において、システムのパフォーマンスは、非障害的人間ドライバー基準モデルと同等またはそれを上回る、主な安全性指標で確認された。
• 実データおよび合成センサデータを用いたシミュレーションベースのテストにより、衝突回避行動の強固でスケーラブルかつ再現可能な評価が可能になった。
• 実世界データにキャリブレーションされた仮想テストプラットフォームは、複雑で動的な衝突状況に対するADSの反応を高精細に検証した。
• シナリオ設計およびテスト実行の迅速な反復を可能にすることで、継続的な安全性評価と改善を支援する手法である。