[论文解读] Adversarial Reinforcement Learning under Partial Observability in Autonomous Computer Network Defence

Yi Han, David Hubczenko+7 more|arXiv (Cornell University)|Feb 25, 2019

Adversarial Robustness in Machine Learning参考文献 51被引用 4

一句话总结

本文提出一种基于反演的防御机制，以应对在部分可观测环境下用于自主网络防御的强化学习（RL）智能体所面临的因果性对抗攻击。即使对网络的可见性有限，攻击者仍可通过状态扰动污染RL训练；所提方法通过反向恢复这些扰动，显著降低攻击影响，且在非攻击场景下不降低性能。

ABSTRACT

Recent studies have demonstrated that reinforcement learning (RL) agents are susceptible to adversarial manipulation, similar to vulnerabilities previously demonstrated in the supervised learning setting. While most existing work studies the problem in the context of computer vision or console games, this paper focuses on reinforcement learning in autonomous cyber defence under partial observability. We demonstrate that under the black-box setting, where the attacker has no direct access to the target RL model, causative attacks---attacks that target the training process---can poison RL agents even if the attacker only has partial observability of the environment. In addition, we propose an inversion defence method that aims to apply the opposite perturbation to that which an attacker might use to generate their adversarial samples. Our experimental results illustrate that the countermeasure can effectively reduce the impact of the causative attack, while not significantly affecting the training process in non-attack scenarios.

研究动机与目标

• 解决在部分可观测环境下，RL智能体在自主网络防御中易受因果性攻击的漏洞，其中攻击者对网络的可见性有限。
• 克服先前研究假设攻击者与防御者均具备完全可观测性的局限，该假设在真实网络中不现实。
• 开发一种在现有方法失效的局部可观测性环境下有效的防御机制，且无需事先掌握攻击模式。
• 确保该防御机制在非攻击训练场景下保持高性能，避免引入新的安全漏洞。

提出的方法

• 将网络防御问题建模为马尔可夫决策过程（MDP），采用基于DQN的RL智能体，训练其以保护关键服务器并维持网络连通性。
• 引入一种因果性攻击模型，其中攻击者在训练过程中对观测状态施加扰动，以误导RL智能体，即使其对网络拓扑仅有部分了解。
• 设计一种基于反演的防御机制，通过在训练前对状态输入应用相反变换，检测并逆转对抗性扰动。
• 该防御机制无需事先掌握攻击者的扰动策略，依赖统计或结构化反演来中和污染影响。
• 采用黑盒攻击设置，攻击者无法访问内部模型参数，以模拟真实世界中的约束条件。
• 在包含100个节点和172条链路的SDN真实网络环境中评估该防御机制，设置两种攻击者可观测性水平（1/3和1/2的节点）。

实验结果

研究问题

• RQ1 当攻击者仅对网络具有部分可观测性时，因果性攻击是否能有效污染RL训练？
• RQ2 部分可观测性在多大程度上影响攻击者通过状态扰动操控RL智能体策略的能力？
• RQ3 基于反演的防御机制是否能在不事先掌握攻击模式的情况下有效对抗因果性攻击？
• RQ4 该防御机制在非攻击场景下的性能影响如何？是否保持了RL智能体的学习效率？

主要发现

• 即使攻击者仅对网络具有部分可观测性，通过扰动训练状态的因果性攻击仍能有效误导RL智能体，使其学习次优策略。
• 所提出的反演防御机制显著降低了因果性攻击的成功率，恢复了RL智能体学习最优防御策略的能力。
• 该防御机制在非攻击训练场景下对性能影响极小，保持了智能体的学习效率。
• 当攻击者仅能观测34个节点（占总数的1/3）时，该方法仍保持有效，证明其在真实部分可观测条件下的鲁棒性。
• 在新的部分可观测性设置下，该反演方法优于先前的防御机制，而后者在此类环境中已失效。
• 结果表明，对抗性训练及其他现有防御方法在此现实威胁模型下均不充分，凸显了开发新型防御策略的必要性。