[论文解读] Multimodal Safety-Critical Scenarios Generation for Decision-Making Algorithms Evaluation

Wenhao Ding, Baiming Chen+3 more|arXiv (Cornell University)|Sep 16, 2020

Adversarial Robustness in Machine Learning参考文献 52被引用 8

一句话总结

该论文提出了一种基于流的生成模型，能够高效生成多模态、与安全相关的交通场景，用于评估自动驾驶决策算法的性能。通过使用加权似然最大化和基于梯度的自适应采样方法，该方法提升了采样效率，并捕捉了多样化的风险模式，在揭示六种强化学习算法的鲁棒性差异方面优于均匀采样。

ABSTRACT

Existing neural network-based autonomous systems are shown to be vulnerable against adversarial attacks, therefore sophisticated evaluation on their robustness is of great importance. However, evaluating the robustness only under the worst-case scenarios based on known attacks is not comprehensive, not to mention that some of them even rarely occur in the real world. In addition, the distribution of safety-critical data is usually multimodal, while most traditional attacks and evaluation methods focus on a single modality. To solve the above challenges, we propose a flow-based multimodal safety-critical scenario generator for evaluating decisionmaking algorithms. The proposed generative model is optimized with weighted likelihood maximization and a gradient-based sampling procedure is integrated to improve the sampling efficiency. The safety-critical scenarios are generated by querying the task algorithms and the log-likelihood of the generated scenarios is in proportion to the risk level. Experiments on a self-driving task demonstrate our advantages in terms of testing efficiency and multimodal modeling capability. We evaluate six Reinforcement Learning algorithms with our generated traffic scenarios and provide empirical conclusions about their robustness.

研究动机与目标

• 解决均匀采样和单模态对抗攻击在评估自动驾驶系统鲁棒性方面的局限性。
• 对真实世界中安全关键场景的多模态分布进行建模，特别是罕见但高风险的交通事件。
• 通过基于梯度的自适应采样，提升在探索多样化风险模式时的采样效率。
• 为在真实压力条件下比较强化学习算法提供比均匀采样更具信息量的评估框架。
• 通过模拟器和任务特定反馈，实现对决策算法的高效黑盒评估。

提出的方法

• 使用加权最大似然估计（WMLE）训练基于归一化流的生成模型，以建模安全关键场景的多模态分布。
• WMLE中的权重与风险度量成正比，确保高似然样本对应于高风险场景。
• 基于自然演化策略（NES）梯度估计的自适应采样过程，可动态调整采样区域，聚焦于未探索的高风险区域。
• 该方法将决策算法视为黑箱，通过仿真查询获取风险反馈，用于训练生成器。
• 在生成器中引入条件输入，以根据任务特定特征自适应地调整场景。
• 训练过程遵循受交叉熵方法（CEM）启发的在线策略优化框架，实现高效的多模态覆盖。

实验结果

研究问题

• RQ1 生成模型能否有效捕捉真实世界中安全关键交通场景的多模态特性？
• RQ2 在高维场景空间中探索多样化、罕见的风险模式时，如何提升采样效率？
• RQ3 基于加权似然和自适应采样的场景生成，是否能为强化学习算法提供比均匀采样更具信息量的评估？
• RQ4 不同强化学习算法在生成的多模态风险场景下的表现，与均匀采样相比如何？
• RQ5 所提出的框架能否揭示均匀采样无法检测到的鲁棒性差异？

主要发现

• 使用自适应采样器，该生成器仅用3,000个样本就实现了所有风险模式的100%覆盖，而HMC需要10,000个样本，均匀采样则需100,000个样本。
• 对六种强化学习算法的评估显示，MBRL即使未在这些风险场景上进行训练，也能在生成的风险场景中保持强劲表现，归因于其基于动力学模型的规划能力。
• DDPG、DQN和SAC在生成场景中表现出中等改进，碰撞率先上升后下降，表明其对未见风险具有部分泛化能力。
• PPO和A2C作为在线策略方法，在生成场景中未见改进且碰撞率持续上升，表明其在多样化风险模式下存在不稳定性。
• 与均匀采样相比，该生成器在揭示算法差异方面表现更优，因为均匀采样尽管最终奖励和碰撞率相似，却无法区分算法间的鲁棒性差异。
• 该框架成功建模了两种不同的骑行人生成位置风险模式，如示例所示，证明了其在多模态表征上的有效性。