[论文解读] Explainable and Safe Reinforcement Learning for Autonomous Air Mobility

Lei Wang, Yang Hongyu+3 more|arXiv (Cornell University)|Nov 24, 2022

Adversarial Robustness in Machine Learning被引用 4

一句话总结

该论文提出SafeDQN-X，一种用于自主空中交通管制的完全可解释深度强化学习框架，通过使用独立的Q值网络将安全与效率目标解耦。通过独立训练具备安全意识的DQN和以目标为导向的DQN，并结合其输出，该方法提升了冲突解决性能，通过可解释的安全价值函数增强了透明度，并揭示了针对特定时间点的对抗性攻击的漏洞，仅需四次攻击即可超越持续干扰的均匀攻击。

ABSTRACT

Increasing traffic demands, higher levels of automation, and communication enhancements provide novel design opportunities for future air traffic controllers (ATCs). This article presents a novel deep reinforcement learning (DRL) controller to aid conflict resolution for autonomous free flight. Although DRL has achieved important advancements in this field, the existing works pay little attention to the explainability and safety issues related to DRL controllers, particularly the safety under adversarial attacks. To address those two issues, we design a fully explainable DRL framework wherein we: 1) decompose the coupled Q value learning model into a safety-awareness and efficiency (reach the target) one; and 2) use information from surrounding intruders as inputs, eliminating the needs of central controllers. In our simulated experiments, we show that by decoupling the safety-awareness and efficiency, we can exceed performance on free flight control tasks while dramatically improving explainability on practical. In addition, the safety Q learning module provides rich information about the safety situation of environments. To study the safety under adversarial attacks, we additionally propose an adversarial attack strategy that can impose both safety-oriented and efficiency-oriented attacks. The adversarial aims to minimize safety/efficiency by only attacking the agent at a few time steps. In the experiments, our attack strategy increases as many collisions as the uniform attack (i.e., attacking at every time step) by only attacking the agent four times less often, which provide insights into the capabilities and restrictions of the DRL in future ATC designs. The source code is publicly available at https://github.com/WLeiiiii/Gym-ATC-Attack-Project.

研究动机与目标

• 解决现有深度强化学习（DRL）控制器在自主空中交通管制（ATC）中可解释性不足与安全鲁棒性差的问题。
• 开发一种DRL框架，通过将安全与效率目标分解为独立的价值函数，实现透明的决策过程。
• 评估DRL智能体在对抗性攻击下的安全性，特别是针对少数关键时间步的攻击。
• 证明仅依赖局部邻近信息即可实现有效的冲突解决，而无需集中式协调。
• 通过有针对性的对抗性攻击策略，揭示可解释DRL设计中的结构性漏洞。

提出的方法

• 将传统DQN分解为两个独立网络：用于评估环境安全性的Safe DQN，以及用于最大化目标抵达效率的Goal DQN。
• 采用双-stream DQN架构，分别估计状态值与优势函数，实现对安全与目标价值的可解释估计。
• 使用以安全为导向的奖励函数训练Safe DQN，该函数对邻近其他飞机的行为进行惩罚，并奖励安全间隔。
• 通过加权融合策略结合两个网络的行动输出，确保在高风险状态下优先考虑安全性。
• 设计一种有针对性的对抗性攻击策略，仅在关键决策点注入扰动，以最大化对安全或效率的影响。
• 利用Q值热力图可视化安全值与动作概率图，以展示模型的可解释性与决策透明度。

实验结果

研究问题

• RQ1 在DRL中解耦安全与效率是否能同时提升自主冲突解决的性能与可解释性？
• RQ2 如何在实时空中交通管制中，通过深度强化学习实现对安全性的定量测量与可视化？
• RQ3 基于DRL的ATC控制器在仅针对少数时间步的对抗性攻击下，其脆弱性达到何种程度？
• RQ4 在自由飞行环境中，仅依赖本地邻近信息是否足以替代全局监视数据，实现有效的冲突解决？
• RQ5 透明且模块化的DRL设计是否会暴露结构性弱点，从而被智能对手利用？

主要发现

• SafeDQN-X通过解耦安全与效率，在冲突解决任务中优于标准DQN，实现了更高的安全性与更优的收敛性。
• Safe DQN学习到的安全价值函数提供了一个可靠且可解释的环境安全性度量，安全状态下的值为0.1352，危险状态下的值为-0.0013。
• 所提出的对抗性攻击策略仅需攻击四次，即可造成与持续攻击（每步均攻击）相同数量的碰撞。
• 在安全状态下，所有动作的安全概率相近，此时Goal DQN主导决策；在危险状态下，Safe DQN会覆盖Goal DQN，优先选择规避行为。
• 当安全与目标偏好发生冲突时，最终动作表现为加速度与稳定航向的平衡选择，体现了双重目标的有效融合。
• 本研究揭示，DRL模型的结构性透明性可能无意中暴露设计漏洞，使其易受高度针对性的对抗性攻击影响。