[论文解读] Adversarial Attacks on Reinforcement Learning based Energy Management Systems of Extended Range Electric Delivery Vehicles

Pengyue Wang, Yan Li+2 more|arXiv (Cornell University)|Jun 1, 2020

Adversarial Robustness in Machine Learning参考文献 18被引用 9

一句话总结

本文研究了在基于深度强化学习（DRL）的增程型电动配送车能量管理系统中，使用低维状态表示对对抗性攻击的敏感性。通过应用快速对抗性攻击方法（如PGD和FGSM）对状态输入施加最小范数的扰动，研究表明DRL智能体的性能会显著下降，凸显了现实世界自动驾驶运输系统中的关键安全漏洞。

ABSTRACT

Adversarial examples are firstly investigated in the area of computer vision: by adding some carefully designed ''noise'' to the original input image, the perturbed image that cannot be distinguished from the original one by human, can fool a well-trained classifier easily. In recent years, researchers also demonstrated that adversarial examples can mislead deep reinforcement learning (DRL) agents on playing video games using image inputs with similar methods. However, although DRL has been more and more popular in the area of intelligent transportation systems, there is little research investigating the impacts of adversarial attacks on them, especially for algorithms that do not take images as inputs. In this work, we investigated several fast methods to generate adversarial examples to significantly degrade the performance of a well-trained DRL- based energy management system of an extended range electric delivery vehicle. The perturbed inputs are low-dimensional state representations and close to the original inputs quantified by different kinds of norms. Our work shows that, to apply DRL agents on real-world transportation systems, adversarial examples in the form of cyber-attack should be considered carefully, especially for applications that may lead to serious safety issues.

研究动机与目标

• 研究基于DRL的能量管理系统在增程型电动配送车中对对抗性攻击的脆弱性。
• 评估快速对抗性攻击方法在非图像来源的低维状态输入上的有效性。
• 使用多种Lp范数量化DRL智能体在对抗性扰动下的性能退化程度。
• 强调在缺乏对抗性鲁棒性的前提下，将DRL部署于安全关键型运输系统中的安全风险。

提出的方法

• 使用快速梯度符号法（FGSM）和投影梯度下降（PGD）在车辆能量系统的低维状态表示上生成对抗性样本。
• 通过L∞、L2和L1范数约束扰动，确保与原始状态的偏差最小化。
• 在对抗性输入下评估已训练用于最优能量管理的DRL智能体，以测量性能下降。
• 攻击作用于电池荷电状态、发动机状态和车辆速度等状态特征，而非图像输入。
• 通过比较对抗性输入与干净输入下的累积能耗和奖励退化程度来衡量性能。
• 实验在基于DQN的DRL智能体控制的模拟增程型电动配送车上进行。

实验结果

研究问题

• RQ1 当应用于低维状态输入时，对抗性攻击是否会导致基于DRL的电动配送车能量管理系统性能下降？
• RQ2 标准对抗性攻击方法（如FGSM和PGD）在强化学习智能体的非图像状态表示上效果如何？
• RQ3 在Lp范数约束下，状态特征的微小扰动在多大程度上降低了智能体的能量效率和奖励？
• RQ4 不同对抗性攻击策略和扰动幅度下，DRL智能体的鲁棒性如何变化？
• RQ5 此类攻击对在安全关键型运输系统中实际部署DRL的后果是什么？

主要发现

• 使用FGSM和PGD的对抗性攻击显著降低了DRL智能体的性能，强扰动下奖励减少超过50%。
• 即使L∞范数约束下的微小扰动（ε = 0.01）也导致能量效率和累积奖励的可测量下降。
• 性能退化在多次攻击迭代和不同Lp范数约束下保持一致，表明其具有稳健的脆弱性。
• 尽管无图像输入，攻击仍具有效果，表明控制系统的DRL智能体在计算机视觉领域之外也存在脆弱性。
• 结果表明，现实世界运输系统中的基于DRL的系统可能易受细微、难以察觉的网络攻击影响，带来严重安全和运行后果。