[论文解读] Investigating Decision Boundaries of Trained Neural Networks

Roozbeh Yousefzadeh, Dianne P. O’Leary|arXiv (Cornell University)|Aug 7, 2019

Adversarial Robustness in Machine Learning参考文献 22被引用 7

一句话总结

本文提出计算精确的翻转点——已训练神经网络决策边界的点——以精确测量最近的对抗性扰动并评估模型鲁棒性。通过求解非凸优化问题以找到最近的翻转点，该方法揭示了模型真正的最薄弱漏洞，优于可能失败或遗漏最近对抗性样本的距离约束对抗攻击方法。

ABSTRACT

Deep learning models have been the subject of study from various perspectives, for example, their training process, interpretation, generalization error, robustness to adversarial attacks, etc. A trained model is defined by its decision boundaries, and therefore, many of the studies about deep learning models speculate about the decision boundaries, and sometimes make simplifying assumptions about them. So far, finding exact points on the decision boundaries of trained deep models has been considered an intractable problem. Here, we compute exact points on the decision boundaries of these models and provide mathematical tools to investigate the surfaces that define the decision boundaries. Through numerical results, we confirm that some of the speculations about the decision boundaries are accurate, some of the computational methods can be improved, and some of the simplifying assumptions may be unreliable, for models with nonlinear activation functions. We advocate for verification of simplifying assumptions and approximation methods, wherever they are used. Finally, we demonstrate that the computational practices used for finding adversarial examples can be improved and computing the closest point on the decision boundary reveals the weakest vulnerability of a model against adversarial attack.

研究动机与目标

• 解决具有非线性激活函数的深度神经网络中计算决策边界上精确点的不可行性问题。
• 挑战在可解释性、泛化误差和对抗鲁棒性研究中常见的简化假设，这些假设依赖于线性近似或间接的距离估计。
• 提供一种直接且计算可行的方法，通过精确翻转点计算识别最近的对抗性样本。
• 证明当前使用距离约束的对抗攻击方法可能因不可行性或次优性而无法找到真正的最小扰动，从而削弱鲁棒性评估。

提出的方法

• 将寻找最近翻转点的问题表述为非凸优化任务：最小化数据点与决策边界上某点之间的欧几里得距离。
• 施加约束条件：在未知点处，原始类别和目标类别的Softmax输出相等，且其他任何类别均无更高输出。
• 使用数值优化技术求解约束非凸问题，计算成本与标准对抗攻击方法相当。
• 应用二分法算法，沿给定方向高效计算最近的翻转点。
• 在基于像素和小波系数输入训练的模型上验证该方法，证明其适用于多分类和离散特征问题。

实验结果

研究问题

• RQ1 尽管问题具有非凸性，是否仍可计算已训练深度神经网络决策边界上的精确点？
• RQ2 当真实边界高度非线性时（尤其是使用ReLU及其他非线性激活函数），决策边界的线性近似表现如何？
• RQ3 当前使用距离约束的对抗攻击方法在多大程度上因不可行性或次优性而无法识别真正的最小扰动？
• RQ4 最近翻转点的距离在数据集中不同图像之间如何变化？这对使用固定距离约束进行鲁棒性评估有何影响？
• RQ5 计算最近翻转点是否能提供比基于导数或基于间隔的近似更可靠、更具信息量的模型置信度、特征影响和对抗脆弱性度量？

主要发现

• 最近翻转点方法始终能识别出比距离约束优化方法找到的对抗样本更接近原始输入的对抗样本，如图10所示，对抗样本穿越边界的距离远小于0.494。
• 当约束半径过小时，距离约束对抗攻击方法可能完全找不到解，如图11所示，0.5半径约束在最近翻转点距离为2.14的图像上失败。
• 在一种情况下，指向最近翻转点的方向与通过损失最小化找到的对抗样本方向之间的夹角仅为12.7度，表明最近翻转点提供了更准确且更具信息量的对抗脆弱性方向。
• 如图12所示，最近翻转点的距离在数据集中不同图像之间差异极大，表明单一固定距离约束无法有效评估所有输入的鲁棒性。
• 寻找最近翻转点的计算成本与标准对抗攻击方法相当，使其成为鲁棒性评估中实用且更优的替代方案。
• 该方法揭示，如Softmax间隔或基于梯度的距离估计等近似方法可能具有误导性，因为它们可能高估到决策边界的真正距离，尤其是在非线性区域。