[論文レビュー] A Real-time Critical-scenario-generation Framework for Testing Autonomous Driving System

Yizhou Xie, Kunpeng Dai+1 more|arXiv (Cornell University)|Jun 2, 2022

Reinforcement Learning in Robotics被引用数 4

ひとこと要約

本論文は、自己適応的コスト関数を備えた攻撃的ドライブアルゴリズムを用いて、失敗を引き起こすシナリオを効率的に生成する、リアルタイム臨界シナリオ生成（RTCSG）フレームワークを提案する。この手法は強化学習ベースの手法と比較して16倍の効率性を達成しながら、ブラックボックス制御器向けの臨界シナリオ生成において優れた安定性と成功確率を維持している。

ABSTRACT

In order to find the most likely failure scenarios which may occur under certain given operation domain, critical-scenario-based test is supposed as an effective and widely used method, which gives suggestions for designers to improve the developing algorithm. However, for the state of art, critical-scenario generation approaches commonly utilize random-search or reinforcement learning methods to generate series of scenarios for a specific algorithm, which takes amounts of computing resource for testing a developing target that is always changing, and inapplicable for testing a real-time system. In this paper, we proposed a real-time critical-scenario-generation (RTCSG) framework to address the above challenges. In our framework, an aggressive-driving algorithm is proposed in controlling the virtual agent vehicles, a specially designed cost function is presented to guide scenarios to evolve towards critical conditions, and a self-adaptive coefficient iteration is designed that enable the approach to operate successfully in different conditions. With our proposed method, the critical-scenarios can be directly generated for the target under test which is a black-box system, and the real-time critical-scenario test can be brought into reality. The simulation results show that our approach is able to obtain more critical scenarios in most conditions than current methods, with a higher stability of success. For a real-time testing, our approach improves the efficiency around 16 times.

研究の動機と目的

• リアルタイム、ブラックボックス型の自動運転システム向けに、従来のシナリオ生成手法の非効率性と適用不能性を解決すること。
• シミュレーションのリプレイや高コストな学習に依存せずに、オンデマンドで臨界シナリオを生成できるフレームワークの開発。
• 多様な初期状態下でも、失敗を引き起こすシナリオの生成における安定性と成功確率の向上。
• ターゲットシステムの内部論理や制御方針にアクセスせずに、直接的かつリアルタイムに自動運転制御器をテストできるように、適応的な悪意のあるシナリオを生成すること。

提案手法

• フレームワークは、仮想エージェントにおける悪意のある行動を模倣する攻撃的ドライブアルゴリズムを採用し、エゴ車両との臨界的相互作用を誘導する。
• 接近度、相対速度、軌道のずれに基づいて危険度を定量化するためのカスタムコスト関数を設計し、極端な運転行動を回避しつつ、ニアミス状態を促進する。
• 自己適応的係数反復により、初期状態の変動に応じてコスト関数のパラメータを動的に調整し、性能の維持と収束性の向上を図る。
• オンラインで動作し、シミュレーションのリプレイや長時間の学習フェーズを必要とせず、リアルタイムにシナリオを生成する。
• 内部論理や制御方針にアクセスできないブラックボックス制御器に直接適用可能であり、内部構造を考慮せずにシナリオ生成が可能である。
• フレームワークは、多様な初期状態を用いたシミュレーションで評価され、シナリオスコアとステップ効率を指標に性能が測定された。

Figure 1 : Diagram of a vehicle-vehicle cut-in scenario.

実験結果

リサーチクエスチョン

• RQ1 強化学習やシミュレーションのリプレイに依存せずに、ブラックボックス型自動運転制御器を効率的に標的とするリアルタイムのシナリオ生成フレームワークを開発可能か？
• RQ2 自己適応的係数を備えた提案されたコスト関数は、多様な初期状態下でシナリオ生成の安定性と成功確率をどのように向上させるか？
• RQ3 RTCSGフレームワークは、生成効率とシナリオ品質の観点から、強化学習ベースおよびRRTベースの手法に比べてどの程度優れているか？
• RQ4 他の手法が失敗するような悪条件の初期状態下でも、フレームワークは一貫して臨界シナリオ（特にニアミス）を生成できるか？
• RQ5 エゴ車両とエージェント車両の相対的な初期位置および速度の広い範囲において、フレームワークの性能はどのようにスケーリングするか？

主な発見

• RTCSGフレームワークは中央値として0.9433のシナリオスコアを達成し、強化学習ベース（0.8728）およびRRTベース（0.8661）の手法と比較して顕著に高い水準を示しており、より優れたシナリオ品質と安定性を示している。
• テストされた初期状態の85％の状況で、RTCSGは強化学習ベースおよびRRTベースの両手法を上回るシナリオスコアを記録し、優れた信頼性を示している。
• ステップ消費比を指標にした測定において、RTCSGは強化学習ベース手法と比較して中央値で16.0025倍の生成効率向上を達成した。
• 性能にやや顕著な外れ値はほとんどなく、極端な外れ値も観測されず、多様なシナリオにおいて一貫性があり、頑健な挙動を示している。
• 強化学習やRRT手法がしばしば失敗するか、過剰なステップ数を要するような悪条件の初期状態（例：初期距離が大きい、相対速度の差が大きい）でも、RTCSGは高い性能を維持した。
• 自己適応的係数反復により、初期状態の変動に敏感でない性能の収束性が顕著に向上し、初期化に依存する感度が低減された。

Figure 2 : Structure of RTCSG framework.