[论文解读] A Theoretical Framework for Robustness of (Deep) Classifiers against Adversarial Examples

Beilun Wang, Ji Gao+1 more|arXiv (Cornell University)|Dec 1, 2016

Adversarial Robustness in Machine Learning参考文献 67被引用 28

一句话总结

本文提出了一种拓扑理论框架，通过建模分类器（f1）与人工感知等人工标注者（f2，如人类感知）之间的关系，分析机器学习分类器对对抗样本的鲁棒性。该框架建立了强鲁棒性的充分必要条件——即当f2正确时f1也始终正确——揭示了特征表示学习（g1）的关键作用，甚至一个无关特征也可能破坏鲁棒性。

ABSTRACT

Most machine learning classifiers, including deep neural networks, are vulnerable to adversarial examples. Such inputs are typically generated by adding small but purposeful modifications that lead to incorrect outputs while imperceptible to human eyes. The goal of this paper is not to introduce a single method, but to make theoretical steps towards fully understanding adversarial examples. By using concepts from topology, our theoretical analysis brings forth the key reasons why an adversarial example can fool a classifier ($f_1$) and adds its oracle ($f_2$, like human eyes) in such analysis. By investigating the topological relationship between two (pseudo)metric spaces corresponding to predictor $f_1$ and oracle $f_2$, we develop necessary and sufficient conditions that can determine if $f_1$ is always robust (strong-robust) against adversarial examples according to $f_2$. Interestingly our theorems indicate that just one unnecessary feature can make $f_1$ not strong-robust, and the right feature representation learning is the key to getting a classifier that is both accurate and strong-robust.

研究动机与目标

• 为解决深度分类器为何易受对抗样本影响的理论理解不足问题。
• 形式化人工标注者（如人类感知）在评估分类器鲁棒性中的作用，这是以往研究所忽视的。
• 使用拓扑概念定义并分析‘强鲁棒性’——即当人工标注者正确时分类器也始终正确——的性质。
• 识别决定鲁棒性的关键组件（特征表示与决策函数），尤其关注非连续分类器的情况。
• 为提升深度神经网络的对抗鲁棒性，提供理论支持且可操作的指导。

提出的方法

• 将分类器f1与人工标注者f2建模为复合函数f1 = c1 ◦ g1和f2 = c2 ◦ g2，其中g1与g2为特征提取器，c1与c2为决策函数。
• 引入伪度量空间（d′1, d′2）以衡量输入在特征表示上的相似性，支持拓扑分析。
• 将强鲁棒性定义为：当f2正确分类且认为相似的所有输入，f1也必须正确分类。
• 利用边界点与几乎处处（a.e.）连续性等拓扑概念，分析f1不鲁棒的情况。
• 通过四个定理推导出强鲁棒性的充分必要条件，特别关注g1与c1之间的相互作用。
• 将对抗样本视为在f2的特征空间中相近但被f1错误分类的输入对，尤其关注f1几乎处处不连续的情形。

实验结果

研究问题

• RQ1 什么使得分类器在与人工标注者对比时始终对对抗样本具有鲁棒性？
• RQ2 分类器中哪个组件——特征提取器还是决策函数——对鲁棒性影响最大？
• RQ3 为何许多深度神经网络对对抗样本不鲁棒？何种理论条件可确保鲁棒性？
• RQ4 分类器与人工标注者特征空间之间的拓扑关系如何决定对抗脆弱性？
• RQ5 在何种条件下分类器具有强鲁棒性？非连续性如何影响这一特性？

主要发现

• 当且仅当f1错误分类f2正确分类且认为相似的输入的概率为零时，分类器f1才具有强鲁棒性。
• 当f1几乎处处不连续时，强鲁棒性取决于特征提取器g1与决策函数c1的共同作用。
• 即使在表示空间中存在一个无关特征，也可能破坏强鲁棒性，凸显了正确特征学习的重要性。
• 为使强鲁棒性成立，c1学习到的决策边界必须与人工标注者在特征空间中的决策边界对齐。
• 在有限输入空间中，对抗样本的概率可量化为错误分类的相似对的比例，示例显示当c1学习不佳时，错误分类率可达60%。
• 理论分析表明，强鲁棒性显著受f1的边界点影响，而这些边界点在f2眼中被视为相似，尤其当f1几乎处处不连续时。