[论文解读] Attacking Deep Reinforcement Learning-Based Traffic Signal Control Systems with Colluding Vehicles

Ao Qu, Yihong Tang+1 more|arXiv (Cornell University)|Nov 4, 2021

Adversarial Robustness in Machine Learning参考文献 31被引用 4

一句话总结

本文提出 CollusionVeh，一种基于深度强化学习的框架，使一组车辆能够协作发送伪造的交通数据，以操纵基于深度强化学习的交通信号控制系统，显著减少其集体出行时间。该方法使用共享嵌入和通信机制协调车辆行为，仅在极小的动作空间下即实现高达65.7%的累积奖励提升（与节省时间相关）。

ABSTRACT

The rapid advancements of Internet of Things (IoT) and artificial intelligence (AI) have catalyzed the development of adaptive traffic signal control systems (ATCS) for smart cities. In particular, deep reinforcement learning (DRL) methods produce the state-of-the-art performance and have great potentials for practical applications. In the existing DRL-based ATCS, the controlled signals collect traffic state information from nearby vehicles, and then optimal actions (e.g., switching phases) can be determined based on the collected information. The DRL models fully "trust" that vehicles are sending the true information to the signals, making the ATCS vulnerable to adversarial attacks with falsified information. In view of this, this paper first time formulates a novel task in which a group of vehicles can cooperatively send falsified information to "cheat" DRL-based ATCS in order to save their total travel time. To solve the proposed task, we develop CollusionVeh, a generic and effective vehicle-colluding framework composed of a road situation encoder, a vehicle interpreter, and a communication mechanism. We employ our method to attack established DRL-based ATCS and demonstrate that the total travel time for the colluding vehicles can be significantly reduced with a reasonable number of learning episodes, and the colluding effect will decrease if the number of colluding vehicles increases. Additionally, insights and suggestions for the real-world deployment of DRL-based ATCS are provided. The research outcomes could help improve the reliability and robustness of the ATCS and better protect the smart mobility systems.

研究动机与目标

• 研究基于深度强化学习的自适应交通信号控制系统（ATCS）在面对利用伪造车辆上报数据的协同对抗攻击时的脆弱性。
• 建立一个现实的攻击场景，其中一组联网车辆协同行动，通过操纵信号决策最小化其总出行时间。
• 开发一种通用且可解释的框架，使共谋车辆能够通过共享表征和通信协调其行为。
• 在不同共谋规模和动作空间约束下，评估协同攻击与个体贪婪策略的有效性。

提出的方法

• 设计一个多智能体深度强化学习框架，共谋车辆共享策略参数以生成场景嵌入，实现对交通状况的联合理解。
• 采用道路情境编码器，从车辆观测中提取全局交通状态表征，实现共享的情境感知。
• 使用车辆解释器，基于共享嵌入和通信信息，将单个车辆状态映射为可执行策略。
• 引入通信机制，使车辆能够交换信息以协调行动，并在信号相位请求过程中避免冲突。
• 采用多智能体演员-critic（MA2C）训练方法，以优化集体奖励，其定义为总出行时间的倒数。
• 在车辆间共享参数，以提高样本效率，并实现在不同交通场景下的泛化能力。

实验结果

研究问题

• RQ1 一组车辆能否通过发送伪造的交通数据，协作操纵基于深度强化学习的交通信号控制系统，以减少其集体出行时间？
• RQ2 与始终请求最大可能动作的个体贪婪策略相比，协同共谋策略在发送伪造信息时的性能如何？
• RQ3 共谋车辆群体的规模如何影响平均和总出行时间的节省？
• RQ4 动作空间（可能的信号相位请求数量）如何影响攻击的有效性？
• RQ5 基于深度强化学习的ATCS中存在哪些关键的系统级漏洞，使得此类协同操纵成为可能？

主要发现

• 使用 CollusionVeh 的共谋车辆在仅包含 {0,1,2,3} 的极小动作空间下，仍实现了65.7%的累积奖励提升（表明时间节省），证明了其在低复杂度下仍具高度有效性。
• 随着学习回合数的增加，共谋群体的总出行时间显著减少，表明该攻击在策略推理足够充分后变得有效。
• 随着共谋车辆数量的增加，单个车辆平均节省的时间减少，表明因组内对信号相位的竞争导致收益递减。
• 在动作空间扩大时，CollusionVeh 的协同策略显著优于始终请求最大动作的贪婪基线策略。
• 即使 DRL 策略对车辆隐藏且未知，该攻击仍有效，表明在此场景下通过模仿学习进行策略推理是可行的。
• 研究揭示，基于深度强化学习的 ATCS 对协同数据伪造攻击存在脆弱性，尤其当策略未频繁更新时更为明显。