[论文解读] Corner Case Generation and Analysis for Safety Assessment of Autonomous Vehicles

Haowei Sun, Shuo Feng+2 more|arXiv (Cornell University)|Feb 6, 2021

Autonomous Vehicle Technology and Safety参考文献 38被引用 4

一句话总结

本文提出了一种统一框架，利用马尔可夫决策过程（MDP）和深度强化学习（DRL），用于生成和分析自动驾驶车辆决策系统中的高维异常情况。通过训练背景车辆（BV）策略使其行为更具攻击性，该方法系统性地生成了具有安全关键性的场景；结合主成分分析（PCA）与聚类的方法，识别出具有代表性和价值的异常情况——在高速公路驾驶仿真中得到有效验证，成功识别出真实且高影响的故障模式。

ABSTRACT

Testing and evaluation is a crucial step in the development and deployment of Connected and Automated Vehicles (CAVs). To comprehensively evaluate the performance of CAVs, it is of necessity to test the CAVs in safety-critical scenarios, which rarely happen in naturalistic driving environment. Therefore, how to purposely and systematically generate these corner cases becomes an important problem. Most existing studies focus on generating adversarial examples for perception systems of CAVs, whereas limited efforts have been put on the decision-making systems, which is the highlight of this paper. As the CAVs need to interact with numerous background vehicles (BVs) for a long duration, variables that define the corner cases are usually high dimensional, which makes the generation a challenging problem. In this paper, a unified framework is proposed to generate corner cases for the decision-making systems. To address the challenge brought by high dimensionality, the driving environment is formulated based on Markov Decision Process, and the deep reinforcement learning techniques are applied to learn the behavior policy of BVs. With the learned policy, BVs will behave and interact with the CAVs more aggressively, resulting in more corner cases. To further analyze the generated corner cases, the techniques of feature extraction and clustering are utilized. By selecting representative cases of each cluster and outliers, the valuable corner cases can be identified from all generated corner cases. Simulation results of a highway driving environment show that the proposed methods can effectively generate and identify the valuable corner cases.

研究动机与目标

• 解决自动驾驶车辆决策系统中缺乏系统性方法生成安全关键异常情况的问题。
• 克服复杂驾驶环境中涉及多个背景车辆（BVs）的现实交通交互所导致的高维性问题。
• 通过深度强化学习（DRL）学习攻击性BV行为策略，生成比自然驾驶数据更真实、更多样化的异常情况。
• 识别并提取‘有价值’的异常情况——即具有代表性的聚类和异常值——以实现对CAV的有效评估和模型改进。
• 提供一种可扩展、数据驱动的方法，用于CAV的安全评估，重点聚焦于决策失败，而非感知层面的对抗性样本。

提出的方法

• 将交通环境建模为马尔可夫决策过程（MDP），以捕捉时间依赖性，并支持背景车辆（BVs）策略的学习。
• 使用深度强化学习（DRL）训练BV行为策略，以最大化在CAV交互过程中生成异常情况的概率。
• 引入自然驾驶数据（NDD）中的约束，确保生成的动作保持真实可行，从而提升仿真的保真度。
• 应用主成分分析（PCA）降低高维异常情况特征的维度，以实现高效聚类。
• 在PCA投影后的特征上应用DBSCAN聚类，以识别具有相似性的异常情况聚类以及代表罕见或极端场景的异常值。
• 从每个聚类和异常值中选取代表性案例，作为‘有价值’的异常情况，用于深入分析和模型优化。

实验结果

研究问题

• RQ1 如何系统性地生成自动驾驶车辆决策系统中的高维、安全关键异常情况？
• RQ2 深度强化学习在多大程度上可用于训练背景车辆，以生成更具攻击性和真实感的异常情况？
• RQ3 特征提取与聚类技术如何从大量生成场景中识别出最具信息量和代表性的异常情况？
• RQ4 在生成的异常情况中，哪些类型的决策失败（例如，车道冲突、攻击性变道）最为普遍？
• RQ5 受约束的DRL训练能否确保生成的异常情况保持真实，并与自然驾驶行为保持一致？

主要发现

• 所提出的基于DRL的框架在高速公路驾驶仿真中，成功生成了比自然驾驶数据更高的安全关键异常情况密度。
• 通过PCA与DBSCAN方法，识别出两个主要聚类：'攻击性变道'和'车道冲突'，以及具有独特故障动力学的显著异常值。
• ‘攻击性变道’聚类的特点是背景车辆突然变道导致追尾碰撞，表明横向防撞能力存在关键缺陷。
• ‘车道冲突’聚类包含三种子类型：并排行驶碰撞、变道过程中的追尾碰撞，以及车道对齐后的延迟追尾碰撞，显示出场景特定的故障模式。
• 异常值案例（D）揭示了罕见且极端的场景，如变道后延迟碰撞，突显了可通过改进CAV决策能力避免的边缘情况。
• 分析表明，CAV模型在变道过程中的横向防撞能力存在显著缺陷，提示这是模型改进的关键领域。