[论文解读] Adversarial Reinforcement Learning under Partial Observability in Software-Defined Networking.

Yi Han, David Hubczenko+7 more|arXiv (Cornell University)|Feb 25, 2019

Adversarial Robustness in Machine Learning参考文献 33被引用 4

一句话总结

本文证明了在部分可观测性条件下，因果性对抗攻击仍可污染软件定义网络（SDN）中的强化学习智能体，提出了一种基于反演的防御方法，通过应用相反的扰动来抵消对抗性扰动，显著降低攻击影响，同时不损害正常训练性能。

ABSTRACT

Recent studies have demonstrated that reinforcement learning (RL) agents are susceptible to adversarial manipulation, similar to vulnerabilities previously demonstrated in the supervised setting. Accordingly focus has remained with computer vision, and full observability. This paper focuses on reinforcement learning in the context of autonomous defence in Software-Defined Networking (SDN). We demonstrate that causative attacks---attacks that target the training process---can poison RL agents even if the attacker only has partial observability of the environment. In addition, we propose an inversion defence method that aims to apply the opposite perturbation to that which an attacker might use to generate their adversarial samples. Our experimental results illustrate that the countermeasure can effectively reduce the impact of the causative attack, while not significantly affecting the training process in non-attack scenarios.

研究动机与目标

• 研究当攻击者仅对环境具有部分可观测性时，软件定义网络（SDN）中的强化学习智能体是否易受因果性攻击的影响。
• 通过聚焦于网络系统而非计算机视觉，填补对抗性强化学习研究中的空白。
• 设计一种防御机制，以减轻强化学习智能体在训练数据中毒攻击下的影响。
• 评估所提出的防御机制在无攻击条件下的学习性能是否保持有效。

提出的方法

• 该方法采用基于反演的防御机制，识别并应用训练过程中引入的对抗性扰动的反向操作。
• 假设攻击者通过操纵训练数据来误导强化学习智能体，利用部分可观测性注入细微且有针对性的扰动。
• 防御机制通过检测或估计对抗性信号，并在学习过程中施加相反的扰动来实现抵消。
• 该方法被集成到强化学习智能体的训练流程中，以保持与标准训练程序的兼容性。
• 其依赖于对抗性扰动具有可被检测并反演的特定模式这一假设。

实验结果

研究问题

• RQ1 当攻击者仅对环境具有部分可观测性时，因果性攻击是否能有效污染SDN中的强化学习智能体？
• RQ2 所提出的基于反演的防御机制如何减轻对抗性训练数据中毒对强化学习智能体的影响？
• RQ3 该防御机制是否会在正常、无攻击的训练场景中降低强化学习智能体的性能？

主要发现

• 即使在环境可观测性有限的情况下，因果性攻击仍能成功污染SDN中的强化学习智能体，揭示了严重的安全漏洞。
• 基于反演的防御机制能有效减轻对抗性扰动对强化学习智能体学习过程的影响。
• 在无攻击的训练场景中，该防御机制保持了高性能，表明其对正常学习过程的干扰极小。
• 该方法在无需完全可观测环境的情况下，对对抗性操纵表现出鲁棒性。