[论文解读] Adversarial Attacks, Regression, and Numerical Stability Regularization

André T. Nguyen, Edward Raff|arXiv (Cornell University)|Dec 7, 2018

Adversarial Robustness in Machine Learning参考文献 13被引用 19

一句话总结

本文提出了一种基于正则化的新型防御方法，用于对抗回归神经网络中的对抗性攻击，其核心是针对学习函数中的数值不稳定性。通过引入一种增强稳定性的正则化项，惩罚过大的梯度并提升函数平滑度，该方法在提升对对抗性扰动的鲁棒性的同时，也增强了模型稳定性，在AAAI 2019研讨会的实证评估中优于先前的防御方法。

ABSTRACT

Adversarial attacks against neural networks in a regression setting are a critical yet understudied problem. In this work, we advance the state of the art by investigating adversarial attacks against regression networks and by formulating a more effective defense against these attacks. In particular, we take the perspective that adversarial attacks are likely caused by numerical instability in learned functions. We introduce a stability inducing, regularization based defense against adversarial attacks in the regression setting. Our new and easy to implement defense is shown to outperform prior approaches and to improve the numerical stability of learned functions.

研究动机与目标

• 为解决回归神经网络中对抗性攻击这一研究不足的问题。
• 探究对抗性脆弱性的根本原因在于学习函数中的数值不稳定性。
• 开发一种实用且高效的防御机制，以增强数值稳定性与鲁棒性。
• 提升模型的泛化能力，并增强对回归任务中微小输入扰动的抵抗能力。
• 提供一种简单但有效的正则化技术，可轻松集成到现有回归模型中。

提出的方法

• 该方法引入了一种新的正则化项，用于惩罚模型输出对输入扰动的过大梯度。
• 正则化基于模型的Lipschitz常数，以促进更平滑、更稳定的函数逼近。
• 损失函数被修改，以包含一项鼓励输入微小变化时输出也保持微小变化的项，从而增强数值稳定性。
• 该方法被实现为一种可微分的正则化项，可在标准反向传播训练过程中应用。
• 该防御在回归基准数据集上进行了评估，并与现有的对抗训练和防御方法进行了比较。
• 该方法设计轻量化，且与标准深度学习框架兼容，无需架构修改。

实验结果

研究问题

• RQ1 通过解决学习函数中潜在的数值不稳定性，能否有效缓解回归网络中的对抗性攻击？
• RQ2 一种基于正则化的、促进函数平滑的方法，在回归任务中与现有对抗训练方法相比表现如何？
• RQ3 提升数值稳定性在多大程度上能增强回归任务中对对抗性扰动的鲁棒性？
• RQ4 一种简单且可微分的正则化项是否能有效提升鲁棒性与稳定性，同时不损害性能？
• RQ5 所提出的方法是否能在不同回归数据集和模型架构上实现泛化？

主要发现

• 所提出的正则化防御方法在对抗性攻击下显著提升了回归任务的鲁棒性，优于基线方法。
• 该方法降低了模型对微小输入扰动的敏感性，表现出更强的数值稳定性。
• 实证结果表明，该防御在对抗攻击下维持准确性的能力优于标准对抗训练和其他正则化技术。
• 正则化项有效降低了模型的Lipschitz常数，从而实现了更平滑的函数逼近。
• 该防御在多个回归数据集和模型架构上均表现有效，表明其具有广泛的适用性。
• 该方法在无需架构修改或复杂训练流程的情况下，实现了鲁棒性的提升。