[论文解读] Game-theoretic Understanding of Adversarially Learned Features.

Jie Ren, Die Zhang+8 more|arXiv (Cornell University)|Mar 12, 2021

Adversarial Robustness in Machine Learning参考文献 58被引用 6

一句话总结

本文提出了一种基于多阶交互作用的博弈论框架，用于分析深度神经网络（DNNs）中的对抗鲁棒性。研究发现，对抗攻击主要破坏高阶特征交互作用，而对抗训练模型的鲁棒性源于类别特定的低阶交互作用，为特征形状偏差和对抗样本可恢复性提供了新见解。

ABSTRACT

This paper aims to understand adversarial attacks and defense from a new perspecitve, i.e., the signal-processing behavior of DNNs. We novelly define the multi-order interaction in game theory, which satisfies six properties. With the multi-order interaction, we discover that adversarial attacks mainly affect high-order interactions to fool the DNN. Furthermore, we find that the robustness of adversarially trained DNNs comes from category-specific low-order interactions. Our findings provide more insights into and make a revision of previous understanding for the shape bias of adversarially learned features. Besides, the multi-order interaction can also explain the recoverability of adversarial examples.

研究动机与目标

• 通过DNN中的信号处理视角，理解对抗攻击与防御机制。
• 在博弈论中定义一种满足六个公理性质的新多阶交互作用概念。
• 研究对抗样本如何操纵特征交互作用，以及为何鲁棒模型能抵抗此类操纵。
• 通过交互作用分析，解释对抗训练特征中观察到的形状偏差现象。
• 通过交互作用层级重建，阐明对抗样本的可恢复性。

提出的方法

• 提出一种满足六个公理性质的新型博弈论多阶交互作用框架，用于特征交互作用分析。
• 将DNN的特征表示建模为输入特征之间的合作博弈，以量化多阶交互作用。
• 使用Shapley值和高阶交互作用指数，对各阶交互作用下的特征贡献进行分解。
• 分析对抗攻击如何改变标准DNN中高阶交互作用，同时在鲁棒模型中保持低阶交互作用的稳定。
• 证明通过重建被破坏的高阶交互作用，可实现对抗样本的恢复。
• 将该框架应用于分析鲁棒模型中低阶交互作用的类别特定性质。

实验结果

研究问题

• RQ1 对抗攻击主要如何影响深度神经网络特征的交互结构？
• RQ2 为何对抗训练模型表现出改进的鲁棒性？低阶交互作用在此过程中扮演何种角色？
• RQ3 在多大程度上可通过重建特征交互作用来恢复对抗样本？
• RQ4 多阶交互作用框架如何解释对抗学习特征中的形状偏差？
• RQ5 在DNN中，交互作用阶数与模型鲁棒性之间存在何种关系？

主要发现

• 对抗攻击主要破坏高阶特征交互作用，而这些交互作用在标准DNN中对决策至关重要。
• 对抗训练模型的鲁棒性源于类别特定的低阶交互作用，这些交互作用在攻击下保持稳定。
• 所提出的多阶交互作用框架将对抗训练特征中的形状偏差解释为低阶交互作用选择性保留的结果。
• 对抗样本具有可恢复性，因为尽管高阶交互作用被改变，但可通过交互作用分解框架实现重建。
• 所提出的多阶交互作用模型满足六个公理性质，为DNN中交互作用分析提供了严谨基础。
• 该框架揭示，鲁棒性并非源于全局特征稳定性，而是源于局部化、类别特定的低阶交互作用保留。