[论文解读] Improved deterministic l2 robustness on CIFAR-10 and CIFAR-100

Sahil Singla, Surbhi Singla+1 more|arXiv (Cornell University)|Aug 5, 2021

Adversarial Robustness in Machine Learning被引用 11

一句话总结

该论文提出最后层归一化（LLN）以提升1-Lipschitz卷积神经网络在CIFAR-10和CIFAR-100上的确定性l²鲁棒性。通过在允许方向更新的同时将最后一层权重归一化为单位范数，该方法避免了训练过程中的灾难性遗忘，从而在标准准确率和可证明鲁棒准确率上均取得显著提升——在CIFAR-100上分别实现+4.80%和+4.71%的增益，结合新型Householder激活函数与证书正则化。

ABSTRACT

Training convolutional neural networks (CNNs) with a strict Lipschitz constraint under the $l_{2}$ norm is useful for provable adversarial robustness, interpretable gradients and stable training. While $1$-Lipschitz CNNs can be designed by enforcing a $1$-Lipschitz constraint on each layer, training such networks requires each layer to have an orthogonal Jacobian matrix (for all inputs) to prevent the gradients from vanishing during backpropagation. A layer with this property is said to be Gradient Norm Preserving (GNP). In this work, we introduce a procedure to certify the robustness of $1$-Lipschitz CNNs by relaxing the orthogonalization of the last linear layer of the network that significantly advances the state of the art for both standard and provable robust accuracies on CIFAR-100 (gains of $4.80\%$ and $4.71\%$, respectively). We further boost their robustness by introducing (i) a novel Gradient Norm preserving activation function called the Householder activation function (that includes every $\mathrm{GroupSort}$ activation) and (ii) a certificate regularization. On CIFAR-10, we achieve significant improvements over prior works in provable robust accuracy ($5.81\%$) with only a minor drop in standard accuracy ($-0.29\%$). Code for reproducing all experiments in the paper is available at \url{https://github.com/singlasahil14/SOC}.

研究动机与目标

• 为解决在最终层权重矩阵施加正交约束时，1-Lipschitz卷积神经网络训练过程中灾难性遗忘的问题。
• 通过放松对最后一层线性层严格正交性的要求，提升CIFAR-100上的可证明鲁棒准确率。
• 开发一种无需最终权重矩阵正交的新型认证方法，从而实现更灵活高效的训练。
• 引入一种新型梯度范数保持激活函数（Householder激活），其为GNP激活函数，可推广GroupSort并提升训练稳定性。
• 通过证书正则化增强鲁棒性，并在多个架构与数据集划分上展示一致的性能增益。

提出的方法

• 提出最后层归一化（LLN），将最终权重矩阵的所有行归一化为单位范数，同时允许其方向在训练过程中自由更新。
• 提出一种新型鲁棒性认证：$ \min_{i \neq l} \frac{f_l(\mathbf{x}) - f_i(\mathbf{x})}{\|\mathbf{W}_{l,:} - \mathbf{W}_{i,:}\|_2} $，即使在最终层非正交时也有效。
• 设计Householder激活函数（HH），一种GNP激活函数，可推广GroupSort并实现跨层的梯度范数保持。
• 应用证书正则化（CR），通过鼓励正确类别与错误类别logits之间的更大间隔，进一步提升鲁棒性。
• 采用改进的训练流程：约束最终层的范数为1，但其方向可自由更新，从而避免更新所有其他行。
• 结合LLN、HH激活与CR，在可证明l²鲁棒性设置下于CIFAR-10和CIFAR-100上实现SOTA性能。

实验结果

研究问题

• RQ1 放松1-Lipschitz卷积神经网络最终层的正交性约束，是否能在不牺牲认证有效性的情况下提升鲁棒性？
• RQ2 最后层归一化（LLN）在CIFAR-100等高类别数场景下，如何缓解灾难性遗忘？
• RQ3 与GroupSort相比，Householder激活函数在提升训练稳定性和鲁棒性方面有多大改进？
• RQ4 证书正则化是否能进一步提升1-Lipschitz网络中的可证明鲁棒准确率？
• RQ5 LLN、HH激活与CR的联合影响在多种架构上对标准准确率和可证明鲁棒准确率的综合影响如何？

主要发现

• 在CIFAR-100上，所提方法相比SOTA基线，标准准确率提升4.80%，可证明鲁棒准确率在ρ = 36/255时提升4.71%。
• 在CIFAR-10上，方法在ρ = 36/255时实现5.81%的可证明鲁棒准确率，标准准确率仅下降0.29%。
• LLN、Householder激活与证书正则化的组合在CIFAR-10和CIFAR-100的所有测试架构上均带来一致的性能增益。
• 消融实验表明，仅使用LLN即可在CIFAR-100上将标准准确率提升最多4.80%，可证明鲁棒准确率提升最多4.80%（相比SOC基线）。
• 证书正则化带来增量但可观测的改进，在更深网络（LipConvnet-40）上可将可证明鲁棒准确率提升最多2.85%。
• 该方法在不同网络深度与架构下均保持高性能，展现出在多样化设置下的鲁棒性与泛化能力。