[论文解读] Input Hessian Regularization of Neural Networks

Waleed Mustafa, Robert A. Vandermeulen+1 more|arXiv (Cornell University)|Sep 14, 2020

Adversarial Robustness in Machine Learning参考文献 29被引用 4

一句话总结

本文提出了一种名为交叉 Hölder 正则化的二阶 Hessian 算子范数正则化方法，通过惩罚输入 Hessian 的大特征值来提升深度神经网络对对抗攻击的鲁棒性。该方法通过一种新颖的算法高效计算 Hessian 算子范数的梯度，并在 MNIST 和 FMNIST 上验证表明，其在强攻击下对鲁棒性的提升优于基于梯度的正则化和对抗训练，尤其在鲁棒性水平超过 4.0 时表现更优。

ABSTRACT

Regularizing the input gradient has shown to be effective in promoting the robustness of neural networks. The regularization of the input's Hessian is therefore a natural next step. A key challenge here is the computational complexity. Computing the Hessian of inputs is computationally infeasible. In this paper we propose an efficient algorithm to train deep neural networks with Hessian operator-norm regularization. We analyze the approach theoretically and prove that the Hessian operator norm relates to the ability of a neural network to withstand an adversarial attack. We give a preliminary experimental evaluation on the MNIST and FMNIST datasets, which demonstrates that the new regularizer can, indeed, be feasible and, furthermore, that it increases the robustness of neural networks over input gradient regularization.

研究动机与目标

• 通过利用二阶导数信息，提升深度神经网络对对抗攻击的鲁棒性。
• 通过开发一种高效算法来计算 Hessian 算子范数正则化，解决直接计算输入 Hessian 梯度的计算不可行性问题。
• 从理论上将对抗鲁棒性与 Hessian 算子范数联系起来，扩展了基于梯度范数的先前工作。
• 通过实证验证，Hessian 正则化在强对抗攻击下可提供优于输入梯度正则化的鲁棒性，尤其在高鲁棒性水平下。
• 提供一种可行且有效的替代方案，以二阶曲率信息取代对抗训练和基于梯度的防御。

提出的方法

• 提出交叉 Hölder 正则化，一种二阶正则化方法，通过惩罚输入 Hessian 矩阵的算子范数来控制模型曲率。
• 开发一种高效算法以计算 Hessian 算子范数的梯度，克服了朴素方法的计算不可行性。
• 将 Hessian 算子范数用作局部曲率的代理指标，其较大值表示对输入扰动的高敏感性。
• 通过在损失函数中添加与 Hessian 算子范数成比例的惩罚项，将正则化应用于训练过程。
• 将 ReLU 和最大池化层替换为可微替代结构（SWISH 和步长卷积），以确保 Hessian 计算所需的双重可微性。
• 在保留的验证集上通过网格搜索调优超参数（λ₁, λ₂），以实现最佳干净准确率和对抗鲁棒性。

实验结果

研究问题

• RQ1 能否利用二阶导数，特别是 Hessian 算子范数，来提升深度神经网络的对抗鲁棒性？
• RQ2 在深度网络中训练 Hessian 算子范数正则化是否在计算上是可行的？
• RQ3 Hessian 正则化是否在强对抗攻击下优于基于梯度的正则化（如交叉-Lipschitz）？
• RQ4 Hessian 正则化与对抗训练相比，在多样化攻击设置下的鲁棒性如何？
• RQ5 Hessian 算子范数与分类器在对抗扰动下的鲁棒性之间存在何种理论关系？

主要发现

• 在 MNIST 数据集上，交叉 Hölder 正则化在最坏情况下的 PGD 攻击（使用 Carlini-Wagner 目标函数）下，优于基于梯度的交叉-Lipschitz 正则化和对抗训练，尤其在鲁棒性水平超过 4.0 时表现更优。
• 在鲁棒性水平为 4.0 时，交叉 Hölder 正则化在 CW 损失攻击下实现了高于交叉-Lipschitz 和对抗训练的对抗准确率，表明其对强攻击具有更优的鲁棒性。
• 该方法在 MNIST 上保持了超过 99% 的干净准确率，在 FMNIST 上保持了 88% 的准确率，表明标准性能几乎没有下降。
• 实证结果表明，Hessian 正则化在攻击更强、更复杂的场景下，优于梯度正则化，展现出更好的鲁棒性。
• 所提出的算法实现了 Hessian 算子范数梯度的高效计算，使二阶正则化在深度网络中成为可行方案。
• 理论分析证实，Hessian 算子范数可界定分类器的鲁棒性，将先前基于梯度的边界扩展至包含曲率效应。