[論文レビュー] The Waymo Open Sim Agents Challenge

Nico Montali, John Lambert+10 more|arXiv (Cornell University)|May 19, 2023

Autonomous Vehicle Technology and Safety被引用数 9

ひとこと要約

本論文は Waymo Open Sim Agents Challenge (WOSAC) を提案する公開ベンチマークと評価フレームワークおよびリーダーボードで、Waymo Open Motion Dataset (WOMD) データを用いた現実的で閉ループのシミュレーションエージェントを評価します。2023年の競技のベースラインと提出物を分析します。

ABSTRACT

Simulation with realistic, interactive agents represents a key task for autonomous vehicle software development. In this work, we introduce the Waymo Open Sim Agents Challenge (WOSAC). WOSAC is the first public challenge to tackle this task and propose corresponding metrics. The goal of the challenge is to stimulate the design of realistic simulators that can be used to evaluate and train a behavior model for autonomous driving. We outline our evaluation methodology, present results for a number of different baseline simulation agent methods, and analyze several submissions to the 2023 competition which ran from March 16, 2023 to May 23, 2023. The WOSAC evaluation server remains open for submissions and we discuss open problems for the task.

研究の動機と目的

• 自動運転の安全性検証のための現実的な交通シミュレータの開発を促進する。
• 自己回帰型シミュレーションエージェントを評価するための評価フレームワークとオンラインのリーダーボードを提案する。
• Waymo Open Motion Dataset (WOMD) を活用して実世界データに基づく評価を行う。
• 再現性のある単純なヒューリスティックではなく、人間の運転行動の全分布を捉えるモデリングを奨励する。

提案手法

• 運転を hidden Markov model として世界状態 s_t と観測 o_t に焦点を当て、AV と環境要素を分離して考える。
• 因子分解された自己回帰型世界モデル q^{world}(o_t|o_{<t}^c) = π(o_t^AV|o_{<t}^c) q(o_t^env|o_{<t}^c) を要求する。
• エージェント分布の下でログデータの近似的ネガティブ対数尤度（NLL）を用いて分布的現実性を評価する。
• 運動学・相互作用・マップベースの指標を時系列 NLL として計算し、重み付き項で総合指標に集約する。
• シナリオあたり最大128エージェント、9秒WOMDシーケンスのデータセットを用い、シナリオごとに32サンプルの結果を報告する。

実験結果

リサーチクエスチョン

• RQ1 閉ループ自動運転シナリオにおける現実味を測る適切な評価フレームワークは何か。
• RQ2 ログデータから直接尤度を推定することが難しい場合、分布的現実性をどう定量化できるか。
• RQ3 固定AVポリシーの下で、エージェント中心対シーン中心、サンプリング多様性といったモデリング選択のうち、最も現実的なシミュレーション結果を生むのはどれか。
• RQ4 ベースラインと提出手法は、多様性や衝突・車線逸脱などの安全関連指標の点でどう比較されるか。

主な発見

• 学習型の確率的シミュレータは、総合NLL指標においてヒューリスティックなベースラインや決定論的エージェントよりも優れていた。
• 多様な将来サンプル（32の多様なローアウト）は同一ローアウトよりも総合スコアを改善することが多く、確率的多様性に報酬があることを示した。
• 定期的な再計画を伴う閉ループ学習ベースの手法（例：MVTA/MVTE）はトップの総合スコアを達成し、閉ループ訓練の利点を浮き彫りにした。
• 上位手法とログ付きオラクルとの間にはまだギャップがあり、特に衝突確率と最も近い物体までの距離の指標で改善余地があることを示し、対話的な現実性の向上が課題である。
• ほとんどの提出はエージェント中心のトランスフォーマー系アーキテクチャを用い、プランニングベースのシミュレーションエージェントよりも運動予測に基づく基盤を築いていた。