[论文解读] Investigating Vulnerabilities of Deep Neural Policies

Ezgi Korkmaz|arXiv (Cornell University)|Aug 30, 2021

Adversarial Robustness in Machine Learning被引用 5

一句话总结

本文通过两种方法分析对抗性扰动的频域特性与一种新颖的特征敏感度探测技术，研究了对抗性训练如何影响强化学习中深度神经网络策略对输入扰动的脆弱性。研究发现，经过对抗性训练的策略对低频扰动变得更加敏感，并且其脆弱性从原始的非鲁棒特征转移到了一组新的非鲁棒特征，表明其鲁棒性特征发生了根本性转变。

ABSTRACT

Reinforcement learning policies based on deep neural networks are vulnerable to imperceptible adversarial perturbations to their inputs, in much the same way as neural network image classifiers. Recent work has proposed several methods to improve the robustness of deep reinforcement learning agents to adversarial perturbations based on training in the presence of these imperceptible perturbations (i.e. adversarial training). In this paper, we study the effects of adversarial training on the neural policy learned by the agent. In particular, we follow two distinct parallel approaches to investigate the outcomes of adversarial training on deep neural policies based on worst-case distributional shift and feature sensitivity. For the first approach, we compare the Fourier spectrum of minimal perturbations computed for both adversarially trained and vanilla trained neural policies. Via experiments in the OpenAI Atari environments we show that minimal perturbations computed for adversarially trained policies are more focused on lower frequencies in the Fourier domain, indicating a higher sensitivity of these policies to low frequency perturbations. For the second approach, we propose a novel method to measure the feature sensitivities of deep neural policies and we compare these feature sensitivity differences in state-of-the-art adversarially trained deep neural policies and vanilla trained deep neural policies. We believe our results can be an initial step towards understanding the relationship between adversarial training and different notions of robustness for neural policies.

研究动机与目标

• 理解对抗性训练如何改变深度神经网络策略在强化学习中的脆弱性特征。
• 探究对抗性训练是否将鲁棒性转移至不同类型的分布偏移，特别是在频域中。
• 识别对抗性训练是否消除了对原始非鲁棒特征的敏感性，同时引入了新的非鲁棒特征。
• 开发并应用新颖的方法，以测量深度神经网络策略在特征层面的敏感度。
• 在多个Atari环境中，比较最先进的对抗性训练与原始训练的深度神经网络策略的鲁棒性特征。

提出的方法

• 本文使用傅里叶变换分析Carlini和Wagner攻击在对抗性训练与原始训练策略上生成的最小对抗扰动的频域特性。
• 提出KMAP（基于核的模型激活探测），通过计算单个像素扰动对策略输出的影响来测量特征敏感度。
• 提出HMAP（基于海森矩阵的模型激活探测），通过扰动前后softmax策略分布的差异来估计敏感度。
• 将KMAP与HMAP应用于在OpenAI Gym Atari环境中训练的深度神经网络策略，以评估其敏感度模式。
• 通过ℓ₁/ℓ₂范数比值与softmax变换后敏感度图的熵，量化脆弱性模式的稀疏性与分布扩散程度。
• 在四个Atari游戏中进行实验：Freeway、BankHeist、RoadRunner与Pong，比较原始训练与对抗性训练智能体的表现。

实验结果

研究问题

• RQ1 对抗性训练如何影响深度神经网络策略中最小对抗扰动的频谱分布？
• RQ2 对抗性训练与原始训练的深度神经网络策略在特征层面的敏感度有何差异？
• RQ3 对抗性训练是否消除了对原始非鲁棒特征的敏感性，同时引入了对一组新非鲁棒特征的敏感性？
• RQ4 对抗性训练策略的脆弱性模式在稀疏性与分布扩散方面与原始策略相比如何？
• RQ5 KMAP与HMAP在多大程度上提供了可靠且独立的深度神经网络策略特征级脆弱性度量？

主要发现

• 对抗性训练策略生成的对抗扰动在傅里叶域中更集中于低频分量，相较于原始训练策略。
• KMAP方法揭示，对抗性训练策略具有更稀疏的脆弱性模式，S(𝒦)值从原始训练的53.73（Freeway）降至20.46（对抗性训练），表明对许多特征的敏感度降低。
• HMAP结果呈现混合稀疏性，对抗性训练策略的S(𝒦)值显著下降（如BankHeist中从38.41降至4.88），但部分情况下熵值仍较高，表明稀疏性变化的可检测性有限。
• 熵分析显示，对抗性训练策略的KMAP敏感度图熵值显著降低（如Freeway中为0.0807），远低于原始策略（8.8287），表明脆弱性更集中且稀疏。
• 尽管消除了对部分原始非鲁棒特征的敏感性，对抗性训练仍引入了新的非鲁棒特征，这由KMAP与HMAP中出现的显著且局部化的敏感度模式所证实。
• 结果表明存在明确的脆弱性转移：对抗性训练并未消除鲁棒性问题，而是将其重新定向至不同的输入结构，特别是低频分量与新的特征集合。