[论文解读] The Faults in Our Pi Stars: Security Issues and Open Challenges in Deep Reinforcement Learning

Vahid Behzadan, Arslan Munir|arXiv (Cornell University)|Oct 23, 2018

Adversarial Robustness in Machine Learning参考文献 71被引用 20

一句话总结

本文形式化了深度强化学习（DRL）中的安全问题，提出了一套全面的威胁模型，对漏洞、攻击向量和对抗性能力进行分类。该文回顾了现有攻击与防御方法，识别出关键的开放研究挑战，并为在训练和推理阶段防范有意操纵的DRL系统提供了路线图。

ABSTRACT

Since the inception of Deep Reinforcement Learning (DRL) algorithms, there has been a growing interest in both research and industrial communities in the promising potentials of this paradigm. The list of current and envisioned applications of deep RL ranges from autonomous navigation and robotics to control applications in the critical infrastructure, air traffic control, defense technologies, and cybersecurity. While the landscape of opportunities and the advantages of deep RL algorithms are justifiably vast, the security risks and issues in such algorithms remain largely unexplored. To facilitate and motivate further research on these critical challenges, this paper presents a foundational treatment of the security problem in DRL. We formulate the security requirements of DRL, and provide a high-level threat model through the classification and identification of vulnerabilities, attack vectors, and adversarial capabilities. Furthermore, we present a review of current literature on security of deep RL from both offensive and defensive perspectives. Lastly, we enumerate critical research venues and open problems in mitigation and prevention of intentional attacks against deep RL as a roadmap for further research in this area.

研究动机与目标

• 为解决深度强化学习（DRL）中安全漏洞研究日益增长的缺口，尽管其在关键系统中的部署日益广泛，但该领域仍基本未被探索。
• 在DRL中区分安全性（避免有害行为）与安全性（抵抗有意的对抗性操纵），强调当前的安全RL方法并未解决有意攻击问题。
• 为DRL开发一个通用威胁模型，识别训练和推理阶段的攻击面、对抗性能力及攻击目标。
• 回顾DRL安全领域的最新进展，包括进攻与防御技术、基准测试及评估指标。
• 识别并优先排序关键的开放研究问题，以指导未来工作，提升DRL系统对对抗性威胁的抗御能力。

提出的方法

• 通过定义攻击面（如策略参数、价值函数和经验回放缓冲区）来形式化DRL中的安全问题。
• 提出一种威胁模型，对对抗性能力（如白盒、黑盒访问）和攻击目标（如策略操纵、奖励污染）进行分类。
• 分析训练和推理阶段的攻击，包括数据 poisoning、奖励操纵以及对观测值的对抗性扰动。
• 调查现有的防御机制，如对抗性训练、鲁棒价值函数估计以及DRL中的在线异常检测。
• 引入新型研究方向，如在线调整技术，实现实时纠正行为异常的策略，且干预程度最小。
• 通过将DRL智能体行为与人类心理障碍（如成瘾、创伤后应激障碍）进行类比，启发基于临床模型的新缓解策略。

实验结果

研究问题

• RQ1 在训练和推理阶段，深度强化学习系统中的关键安全漏洞和攻击向量是什么？
• RQ2 对抗性能力（如访问级别、对网络架构的了解程度）如何影响对DRL智能体的攻击可行性与影响？
• RQ3 在防御DRL智能体免受有意操纵方面，关键的开放研究挑战是什么，如何系统性地应对？
• RQ4 成瘾和行为障碍的心理学模型在多大程度上可为设计安全且鲁棒的DRL智能体提供启发？
• RQ5 如何开发在线调整机制，以在不干扰学习过程的前提下检测并纠正对抗性策略偏差？

主要发现

• DRL中的安全问题与安全RL根本不同，因为其涉及攻击者有意的操纵，而非偶然的不安全行为。
• DRL中的对抗性攻击可在训练和推理阶段发起，包括污染经验回放、操纵奖励以及扰动观测值。
• 当前的防御措施（如对抗性训练和鲁棒价值估计）虽具前景，但在泛化能力和在复杂环境中的可扩展性方面仍有限。
• 用于实时检测并纠正异常策略的在线调整机制，是一个尚未充分探索但至关重要的研究方向。
• 心理类比（如将‘线性奖励’视为成瘾行为，或将暴露于负面奖励视为创伤）为理解与缓解策略操纵提供了新颖的类比。
• 若未以安全设计为先考虑，安全AI机制（如关机开关和可中断性）可能引入新的攻击向量，凸显了集成安全设计原则的必要性。