[论文解读] Adversarial Attacks on Neural Network Policies

Sandy H. Huang, Nicolas Papernot+3 more|arXiv (Cornell University)|Feb 8, 2017

Adversarial Robustness in Machine Learning被引用 68

一句话总结

本论文表明，在深度强化学习中的神经网络策略在白盒和黑盒设置下，对对抗样本具有脆弱性，且适用于多种算法和 Atari 任务。

ABSTRACT

Machine learning classifiers are known to be vulnerable to inputs maliciously constructed by adversaries to force misclassification. Such adversarial examples have been extensively studied in the context of computer vision applications. In this work, we show adversarial attacks are also effective when targeting neural network policies in reinforcement learning. Specifically, we show existing adversarial example crafting techniques can be used to significantly degrade test-time performance of trained policies. Our threat model considers adversaries capable of introducing small perturbations to the raw input of the policy. We characterize the degree of vulnerability across tasks and training algorithms, for a subclass of adversarial-example attacks in white-box and black-box settings. Regardless of the learned task or training algorithm, we observe a significant drop in performance, even with small adversarial perturbations that do not interfere with human perception. Videos are available at http://rll.berkeley.edu/adversarial.

研究动机与目标

• 描述对抗样本如何影响在深度强化学习中训练的神经网络策略，覆盖不同学习算法的情况。
• 研究在 DQN、TRPO 和 A3C 训练得到的策略上的白盒和黑盒攻击情景。
• 评估对抗样本在不同策略之间以及跨训练算法的可转移性。

提出的方法

• 应用快速梯度符号法（FGSM）在 l_infty、l_2 和 l_1 范数下生成对抗扰动。
• 将策略输出视为概率分布，使用与权重最高的动作对齐的交叉熵损失来计算扰动。
• 在四个 Atari 游戏（Chopper Command、Pong、Seaquest、Space Invaders）上评估攻击，这些游戏由三种算法（DQN、TRPO、A3C）训练。
• 比较白盒攻击（可完全访问目标策略）与通过跨策略、跨算法的可转移性实现的黑盒攻击。

实验结果

研究问题

• RQ1 对抗样本在不同深度强化学习算法下降低神经网络策略测试时性能的效果有多显著？
• RQ2 在为同一任务训练但采用不同架构或训练方法的策略之间，对抗性扰动会不会转移？
• RQ3 在深度 RL 策略中，白盒威胁模型与黑盒威胁模型的对抗效果有何差异？
• RQ4 在对深度 RL 策略进行对抗攻击时，使用不同范数约束（l_infty、l_2、l_1）对攻击强度的影响是什么？

主要发现

• 在 DQN、TRPO 和 A3C 架构下的神经网络策略对对抗输入表现出脆弱，性能显著下降。
• 与 DQN 相比，TRPO 和 A3C 策略在对抗扰动下表现出相对的鲁棒性。
• 在某些任务上，小的 epsilon 下的 l_infty FGSM 就能使性能下降 50% 及以上，而 l_1 扰动通过改变几个像素就能造成较大性能下降。
• 为一个策略训练的对抗扰动可以转移到解决同一任务的其他策略，证明了转移性。
• 在同一算法的策略之间转移性更强，在不同算法之间较弱，但在较大扰动幅度下仍具有显著影响。