[論文レビュー] SafeBench: A Benchmarking Platform for Safety Evaluation of Autonomous Vehicles

Chejian Xu, Wenhao Ding+7 more|arXiv (Cornell University)|Jun 20, 2022

Autonomous Vehicle Technology and Safety被引用数 22

ひとこと要約

SafeBench は、8つの安全上重要なシナリオ、4つのシナリオ生成アルゴリズム、各シナリオあたり10のルートバリエーション、そして10個の評価指標を用いて、4つの深層強化学習（RL）ベースの自動運転（AD）アルゴリズムを共同評価する統合プラットフォームです。

ABSTRACT

As shown by recent studies, machine intelligence-enabled systems are vulnerable to test cases resulting from either adversarial manipulation or natural distribution shifts. This has raised great concerns about deploying machine learning algorithms for real-world applications, especially in safety-critical domains such as autonomous driving (AD). On the other hand, traditional AD testing on naturalistic scenarios requires hundreds of millions of driving miles due to the high dimensionality and rareness of the safety-critical scenarios in the real world. As a result, several approaches for autonomous driving evaluation have been explored, which are usually, however, based on different simulation platforms, types of safety-critical scenarios, scenario generation algorithms, and driving route variations. Thus, despite a large amount of effort in autonomous driving testing, it is still challenging to compare and understand the effectiveness and efficiency of different testing scenario generation algorithms and testing mechanisms under similar conditions. In this paper, we aim to provide the first unified platform SafeBench to integrate different types of safety-critical testing scenarios, scenario generation algorithms, and other variations such as driving routes and environments. Meanwhile, we implement 4 deep reinforcement learning-based AD algorithms with 4 types of input (e.g., bird's-eye view, camera) to perform fair comparisons on SafeBench. We find our generated testing scenarios are indeed more challenging and observe the trade-off between the performance of AD agents under benign and safety-critical testing scenarios. We believe our unified platform SafeBench for large-scale and effective autonomous driving testing will motivate the development of new testing scenario generation and safe AD algorithms. SafeBench is available at https://safebench.github.io.

研究の動機と目的

• 従来のリアルワールド走行距離によるテストを超えた、自動運転（AD）システムの堅牢でスケーラブルな安全評価を促進する。
• 同一条件下で異なるシナリオ生成手法を比較するための統一プラットフォームを提供する。
• さまざまな安全上重要なシナリオ、ルート、センサ入力にわたってADアルゴリズムの公正な評価を可能にする。
• AD性能における安全性、機能性、エチケットのトレードオフを定量化する。

提案手法

• CARLAシミュレータ内に、モジュラー4ノードプラットフォーム（自車 Ego、エージェント、シナリオ、評価）を介して、NHTSA指定の安全上重要運転シナリオを8つ統合する。
• 各シナリオにつき10の走行ルートに対して4つのシナリオ生成アルゴリズムを適用し、2,352の安全上重要シナリオを生成する。
• 多様な知覚能力下での性能評価のため、4つの入力タイプを用いた4つの深層RLベースのADアルゴリズムを実装する。
• 安全性、機能性、エチケットのレベルを網羅する10の指標を用いてADエージェントを評価し、全体の加重スコア OS を算出する。
• 頑健性と安全性を検討するため、敵対的な生成と知識ベースの生成をサポートする。

実験結果

リサーチクエスチョン

• RQ1 統一されたテスト条件の下で、異なるシナリオ生成アルゴリズムが自動運転エージェントの安全性と性能にどのように影響するか？
• RQ2 複数の入力モダリティを横断して、無害なシナリオと安全上重要シナリオの間でAD性能にどのトレードオフが生じるか？
• RQ3 どの安全上重要なシナリオと生成手法が、異なるADアルゴリズム間で最も良く転移するか？
• RQ4 異なる評価指標（安全性、機能性、エチケット）は、全体のADの安全性とパフォーマンスをどのように反映するように組み合わさるか？

主な発見

• 生成されたシナリオはより難易度が高く、無害条件と安全上重要条件の間のAD性能のトレードオフを明らかにする。
• いくつかの安全上重要シナリオはADアルゴリズム間でうまく転移する一方、他はアルゴリズム特有である。
• 異なるシナリオ生成アルゴリズムは効果に差を生み出す。敵対的に生成されたシナリオは衝突率とリスク率を高める可能性がある。
• PPO は安全上重要なテストで最良の OS をよく出す一方、他のエージェントは異なる指標で優れることがある。強い安全性と機能性のトレードオフが観測される。
• CS（Carla Scenario Generator）はADエージェント間で高い転移性を示す一方、Adversarial Trajectory Optimization は選択後に高い衝突率を生む可能性がある。