[论文解读] The Waymo Open Sim Agents Challenge

Nico Montali, John Lambert+10 more|arXiv (Cornell University)|May 19, 2023

Autonomous Vehicle Technology and Safety被引用 9

一句话总结

论文介绍 Waymo Open Sim Agents Challenge (WOSAC)，这是一个开放基准，包含评估框架和排行榜，用于使用 Waymo Open Motion Dataset (WOMD) 数据的现实、闭环仿真代理。它分析了2023年比赛中的基线和提交结果。

ABSTRACT

Simulation with realistic, interactive agents represents a key task for autonomous vehicle software development. In this work, we introduce the Waymo Open Sim Agents Challenge (WOSAC). WOSAC is the first public challenge to tackle this task and propose corresponding metrics. The goal of the challenge is to stimulate the design of realistic simulators that can be used to evaluate and train a behavior model for autonomous driving. We outline our evaluation methodology, present results for a number of different baseline simulation agent methods, and analyze several submissions to the 2023 competition which ran from March 16, 2023 to May 23, 2023. The WOSAC evaluation server remains open for submissions and we discuss open problems for the task.

研究动机与目标

• 推动开发用于 autonomous driving 安全验证的真实世界交通仿真器。
• 提出一个评估框架和在线排行榜，以评估自回归仿真代理。
• 在真实世界数据中进行 ground evaluation，利用 Waymo Open Motion Dataset (WOMD)。
• 鼓励建模能够捕捉人类驾驶行为的完整分布，而非回放或简单启发式方法。

提出的方法

• 将驾驶建模为带有世界状态 s_t 与观测 o_t 的隐马尔可夫模型，聚焦 AV 与环境组件。
• 要求因子分解的自回归世界模型 q^{world}(o_t|o_{<t}^c) = π(o_t^AV|o_{<t}^c) q(o_t^env|o_{<t}^c)。
• 通过在代理分布下对登录数据的近似负对数似然（NLL）来评估分布真实感。
• 计算组件指标（运动学、交互、基于地图的度量的时间序列 NLL），并将其汇总为带权项的综合指标。
• 使用 9-second WOMD 序列的数据集，每个情景最多 128 个代理，并报告每个情景 32 个样本的结果。

实验结果

研究问题

• RQ1 在闭环自动驾驶情景中，如何建立适当的评估框架来衡量仿真代理的真实感？
• RQ2 当很难直接从登录数据估计似然性时，如何量化分布真实感？
• RQ3 在固定 AV 策略下，哪种建模选择（以代理为中心 vs 以场景为中心、采样多样性）能产生最真实的仿真结果？
• RQ4 基线方法与提交方法在多样性和与安全相关指标（如碰撞和偏离道路）方面的比较如何？

主要发现

• learned stochastic simulators 超越启发式基线和确定性代理，在综合 NLL 指标上表现更好。
• 多样化的未来样本（32 种不同的回滚）比同质回滚产生更好的综合分数，表明对随机性多样性的奖励。
• 闭环、基于学习的方法并结合定期重新规划（如 MVTA/MVTE）取得了最高综合分数，突显了闭环训练的优势。
• 与登录的 oracle 相比，顶尖方法之间仍存在差距，尤其是在碰撞可能性和最近物体距离等指标上，表明互动真实感仍有提升空间。
• 大多数提交采用以代理为中心、基于变换器的结构，并建立在运动预测基础之上，而非基于规划的仿真代理。