[论文解读] Accelerated Evaluation of Automated Vehicles in Car-Following Maneuvers

Ding Zhao, Xianan Huang+3 more|arXiv (Cornell University)|Jul 10, 2016

Traffic and Road Safety被引用 6

一句话总结

本文提出加速评估（Accelerated Evaluation）方法，利用真实世界驾驶数据中的重要性采样，模拟人工驾驶车辆与自动驾驶车辆之间高强度的跟车交互。通过修改自然驾驶行为的统计特性，该方法在保持基于重要性采样理论的统计保证的前提下，将测试时长缩短了300至100,000倍，同时确保自动驾驶车辆安全评估的准确性。

ABSTRACT

The safety of Automated Vehicles (AVs) must be assured before their release and deployment. The current approach to evaluation relies primarily on (i) testing AVs on public roads or (ii) track testing with scenarios defined in a test matrix. These two methods have completely opposing drawbacks: the former, while offering realistic scenarios, takes too much time to execute; the latter, though it can be completed in a short amount of time, has no clear correlation to safety benefits in the real world. To avoid the aforementioned problems, we propose Accelerated Evaluation, focusing on the car-following scenario. The stochastic human-controlled vehicle (HV) motions are modeled based on 1.3 million miles of naturalistic driving data collected by the University of Michigan Safety Pilot Model Deployment Program. The statistics of the HV behaviors are then modified to generate more intense interactions between HVs and AVs to accelerate the evaluation procedure. The Importance Sampling theory was used to ensure that the safety benefits of AVs are accurately assessed under accelerated tests. Crash, injury and conflict rates for a simulated AV are simulated to demonstrate the proposed approach. Results show that test duration is reduced by a factor of 300 to 100,000 compared with the non-accelerated (naturalistic) evaluation. In other words, the proposed techniques have great potential for accelerating the AV evaluation process.

研究动机与目标

• 解决传统自动驾驶车辆（AV）评估方法效率低下问题，这些方法依赖于耗时的实车测试或脱机的测试矩阵。
• 开发一种在不牺牲安全验证准确性的前提下加速AV评估的方法。
• 构建一个统计严谨的框架，利用真实人类驾驶行为生成自动驾驶车辆的高强度测试场景。
• 实现在跟车操作中更快、可扩展且可靠的AV安全评估。

提出的方法

• 该方法基于密歇根大学安全飞行员模型部署项目提供的130万英里自然驾驶数据，对随机人工驾驶车辆（HV）行为进行建模。
• 通过修改HV行为的统计分布——特别是跟车时距和加速度——生成与自动驾驶车辆之间更具强度、更关键的安全交互场景。
• 应用重要性采样对仿真结果进行重新加权，确保在加速测试条件下，碰撞率、伤害率和冲突率等安全指标保持无偏。
• 该方法采用概率框架，估计在加速场景下的安全性能，同时保持统计有效性。
• 通过在自然驾驶与加速条件下的跟车场景中，对代表性AV进行仿真，验证了该方法的有效性。
• 该框架通过有针对性地采样高风险交互，聚焦于罕见但关键的事件，实现快速评估。

实验结果

研究问题

• RQ1 是否可以在不损害统计准确性或现实相关性的情况下，更高效地评估AV安全性？
• RQ2 如何利用自然驾驶数据生成高强度测试场景以加速评估？
• RQ3 在测试条件被加速的情况下，重要性采样在多大程度上能保持安全指标的准确性？
• RQ4 在保持可靠AV跟车场景安全评估的前提下，测试时长可实现多大程度的缩短？
• RQ5 修改后的人类驾驶行为统计特性对AV评估中碰撞率、伤害率和冲突率的估计产生何种影响？

主要发现

• 所提出的加速评估方法相比使用真实世界数据的自然评估，将测试时长缩短了300至100,000倍。
• 通过使用重要性采样，该方法保持了对碰撞率、伤害率和冲突率等安全指标的准确估计。
• 通过修改人类车辆行为的统计分布，该方法生成了更具强度的交互，加速了关键安全事件的发生。
• 该方法在显著减少仿真运行次数的前提下，实现了可靠的安全部评估。
• 该框架在跟车场景中展现出强大的可扩展性和高效AV安全验证潜力。