[论文解读] DeepQTest: Testing Autonomous Driving Systems with Reinforcement Learning and Real-world Weather Data

Chengjie Lu, Tao Yue+2 more|arXiv (Cornell University)|Oct 8, 2023

Autonomous Vehicle Technology and Safety被引用 5

一句话总结

DeepQTest 是一种基于强化学习的方法，通过使用深度 Q 网络（Deep Q-Networks）动态配置环境条件，为自动驾驶系统（ADS）生成真实且具有安全关键性的测试场景。与随机、贪婪以及最先进的基线方法相比，它在碰撞发现和真实性方面表现更优，其中时间到碰撞（Time-To-Collision）作为最优奖励函数。

ABSTRACT

Autonomous driving systems (ADSs) are capable of sensing the environment and making driving decisions autonomously. These systems are safety-critical, and testing them is one of the important approaches to ensure their safety. However, due to the inherent complexity of ADSs and the high dimensionality of their operating environment, the number of possible test scenarios for ADSs is infinite. Besides, the operating environment of ADSs is dynamic, continuously evolving, and full of uncertainties, which requires a testing approach adaptive to the environment. In addition, existing ADS testing techniques have limited effectiveness in ensuring the realism of test scenarios, especially the realism of weather conditions and their changes over time. Recently, reinforcement learning (RL) has demonstrated great potential in addressing challenging problems, especially those requiring constant adaptations to dynamic environments. To this end, we present DeepQTest, a novel ADS testing approach that uses RL to learn environment configurations with a high chance of revealing abnormal ADS behaviors. Specifically, DeepQTest employs Deep Q-Learning and adopts three safety and comfort measures to construct the reward functions. To ensure the realism of generated scenarios, DeepQTest defines a set of realistic constraints and introduces real-world weather conditions into the simulated environment. We employed three comparison baselines, i.e., random, greedy, and a state-of-the-art RL-based approach DeepCOllision, for evaluating DeepQTest on an industrial-scale ADS. Evaluation results show that DeepQTest demonstrated significantly better effectiveness in terms of generating scenarios leading to collisions and ensuring scenario realism compared with the baselines. In addition, among the three reward functions implemented in DeepQTest, Time-To-Collision is recommended as the best design according to our study.

研究动机与目标

• 解决在复杂动态环境中为安全关键型自动驾驶系统（ADS）生成高影响力、真实测试场景的挑战。
• 克服现有测试方法在模拟真实气象条件及其随时间演变方面的局限性。
• 通过利用强化学习自适应配置环境参数，提升在线系统级测试的有效性和效率。
• 通过整合真实世界气象数据和预设物理约束，确保测试场景的真实性。
• 研究不同奖励函数对测试场景生成质量与有效性的影响力。

提出的方法

• 将测试场景生成建模为一个马尔可夫决策过程（MDP）的序列决策问题，其中强化学习智能体通过配置环境参数来触发自动驾驶系统异常行为。
• 采用深度 Q 网络（DQN）作为强化学习算法，通过与仿真环境交互学习最优环境配置。
• 使用多模态传感器融合技术编码高维环境状态，包括交通状况、天气条件和车辆动力学。
• 定义三种奖励函数——时间到碰撞（TTC）、与目标距离（DTO）和急动度（Jerk），以引导智能体生成安全关键型场景。
• 通过真实效果生成器将真实世界气象和一天中的时间数据集成到仿真中，以增强测试场景的真实性。
• 通过 REST API 端点实现环境配置，支持对降水、光照和交通密度等仿真参数的程序化控制。

Figure 1: Overview of DeepQTest

实验结果

研究问题

• RQ1 与随机、贪婪以及 DeepCollision 基线相比，DeepQTest 在生成导致碰撞的测试场景方面的有效性如何？
• RQ2 不同测试方法在生成场景的真实性方面（尤其是气象条件和一天中的时间）有何差异？
• RQ3 在碰撞发现率和场景多样性方面，三种奖励函数（TTC、DTO、Jerk）中哪一种最有效？
• RQ4 奖励函数之间相关性如何？这种相关性对多目标测试策略设计有何影响？
• RQ5 生成的测试场景是否可用于未来自动驾驶系统版本的回归测试？

主要发现

• DeepQTest 在发现导致碰撞的测试场景方面显著优于随机和贪婪基线方法，其有效性在统计上具有显著提升。
• 与最先进的基于强化学习的方法 DeepCollision 相比，DeepQTest 生成了更具真实感的测试场景，同时保持或提升了碰撞发现率。
• 时间到碰撞（TTC）被确定为表现最佳的奖励函数，实现了最高的碰撞率，并在真实感与有效性之间达到最佳平衡。
• 观察到 TTC 与 DTO 之间存在正相关性，而 TTC 与 Jerk 之间存在负相关性，表明时间安全性与乘坐舒适性指标之间存在权衡。
• 通过 ScenarioCollector 收集并可由 ScenarioRunner 重放的生成测试场景，可通过跟踪碰撞状态和轨迹偏差等执行属性，适用于未来自动驾驶系统版本的回归测试。
• 将真实世界气象数据和时间信息整合到仿真中，显著提升了生成测试场景的真实感，解决了先前工作中的一项关键局限。

Figure 2: Domain model of the configurable parameters of the ADS operating environment