[論文レビュー] A Scenario-Based Platform for Testing Autonomous Vehicle Behavior Prediction Models in Simulation

Francis Indaheng, Edward Kim+5 more|arXiv (Cornell University)|Oct 28, 2021

Autonomous Vehicle Technology and Safety参考文献 19被引用数 8

ひとこと要約

本論文は、Scenic確率的プログラミング言語とVerifAIを用いて、複数の目的の指標の偽棄を実行する、自律走行車両の行動予測モデルをテストするためのシナリオベースのシミュレーションプラットフォームを提示する。このプラットフォームは、25の合成的で相互作用的な交通シナリオを対象に、LaneGCNのようなモデルのスケーラブルで並列化されたテストを可能にし、優先順位付きの指標を用いた自動シナリオ生成と評価により、失敗事例を同定する。エッジケースの同定において高い効率性と有効性を示している。

ABSTRACT

Behavior prediction remains one of the most challenging tasks in the autonomous vehicle (AV) software stack. Forecasting the future trajectories of nearby agents plays a critical role in ensuring road safety, as it equips AVs with the necessary information to plan safe routes of travel. However, these prediction models are data-driven and trained on data collected in real life that may not represent the full range of scenarios an AV can encounter. Hence, it is important that these prediction models are extensively tested in various test scenarios involving interactive behaviors prior to deployment. To support this need, we present a simulation-based testing platform which supports (1) intuitive scenario modeling with a probabilistic programming language called Scenic, (2) specifying a multi-objective evaluation metric with a partial priority ordering, (3) falsification of the provided metric, and (4) parallelization of simulations for scalable testing. As a part of the platform, we provide a library of 25 Scenic programs that model challenging test scenarios involving interactive traffic participant behaviors. We demonstrate the effectiveness and the scalability of our platform by testing a trained behavior prediction model and searching for failure scenarios.

研究の動機と目的

• 実世界の訓練データに十分に表現されていないレアまたは複雑な交通シナリオにおける行動予測モデルのテストの課題に対処すること。
• 直感的な相互作用的交通シナリオのモデリングを可能にするスケーラブルなシミュレーションベースのプラットフォームの開発。
• より洗練されたモデル評価を可能にする、指標の部分的優先順位付けを含む複数目的の評価の実現。
• インテリジェントなサンプリングと並列実行を用いた偽棄により、失敗事例の自動発見を可能にすること。

提案手法

• エージェントの初期状態および動的行動の分布を定義するために、確率的プログラミング言語であるScenicを用いてシナリオをモデル化する。
• 訓練済みの行動予測モデル（例：LaneGCN）を、OpenDRIVEマップ形式と軌道の入出力変換を介してCARLAシミュレータと統合する。
• minADE、minFDE、およびMR距離閾値を用いた予測精度の評価に適した、部分的優先順位付けを含む複数目的の評価指標を定義する。
• VerifAIのマルチアームドバンディットサンプラーを用いて、シナリオ空間を知的に探索し、反例の発見を最大化する。
• 複数のワーカーを用いてシミュレーションを並列化し、テスト効率をスケーリングする。実行時間ベンチマークによりスループットの向上を検証する。
• 120の具体的なシナリオを、相互作用フェーズにわたるモデルの挙動を評価するために、異なる時刻にサンプリングして、システムパフォーマンスをログおよび分析する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、相互作用的でエッジケースの交通シナリオを効果的にモデル化・合成し、シミュレーションによる行動予測モデルのテストを可能にするか？
• RQ2 部分的優先順位付けを含む複数目的の評価指標は、行動予測モデルにおける深刻な失敗モードの検出をどの程度向上させるか？
• RQ3 インテリジェントなサンプリングと並列実行を用いた、並列化されたシナリオベースの偽棄は、AV予測システムのテストのスケーラビリティと効率性を顕著に向上させられるか？
• RQ4 本プラットフォームは、多様で複雑な交差点シナリオにおける実世界で訓練されたモデル（例：LaneGCN）の失敗事例をどの程度効果的に同定できるか？
• RQ5 プラットフォームは、シナリオ内でのエージェント相互作用のタイミングやフェーズに応じて変化する失敗パターンを同定できるか？

主な発見

• プラットフォームは、保護なし左折や合流行動を含む5つの複雑な交差点シナリオにおいて、LaneGCNモデルの失敗事例を正常に同定した。
• 最大5人のワーカーを用いた並列実行により、120回のシミュレーションの実行時間を大幅に短縮するスループット向上を達成した。
• マルチアームドバンディットサンプラーは、反例の発見と特徴空間の多様性の両方を効果的にバランスさせ、シナリオ空間の探索に成功した。
• 20、40、60、80の異なる時刻にわたる失敗事例が検出されたことから、モデルのパフォーマンスが相互作用フェーズに依存することが示された。
• 本プラットフォームは、30万件の実世界シナリオで訓練された実世界モデルのテストにおいて、スケーラビリティと有効性を示し、訓練データに十分にカバーされていないエッジケースを同定した。
• ScenicとCARLA、VerifAIの統合により、最小限のモデル依存性でシームレスでモジュラーなテストが可能になった。