[论文解读] Linearity Grafting: Relaxed Neuron Pruning Helps Certifiable Robustness

Tianlong Chen, Huan Zhang+5 more|arXiv (Cornell University)|Jun 15, 2022

Adversarial Robustness in Machine Learning被引用 4

一句话总结

本文提出线性嫁接（linearity grafting），一种宽松的神经元剪枝方法，通过将不显著且不稳定的 ReLU 神经元替换为可学习的线性激活函数，以提升可认证鲁棒性与验证可扩展性。通过优化斜率和截距参数，该方法在无需可认证鲁棒训练的情况下，使认证准确率最高提升 82.30%，同时实现对参数量高达 1700 万的大模型的完整验证。

ABSTRACT

Certifiable robustness is a highly desirable property for adopting deep neural networks (DNNs) in safety-critical scenarios, but often demands tedious computations to establish. The main hurdle lies in the massive amount of non-linearity in large DNNs. To trade off the DNN expressiveness (which calls for more non-linearity) and robustness certification scalability (which prefers more linearity), we propose a novel solution to strategically manipulate neurons, by "grafting" appropriate levels of linearity. The core of our proposal is to first linearize insignificant ReLU neurons, to eliminate the non-linear components that are both redundant for DNN performance and harmful to its certification. We then optimize the associated slopes and intercepts of the replaced linear activations for restoring model performance while maintaining certifiability. Hence, typical neuron pruning could be viewed as a special case of grafting a linear function of the fixed zero slopes and intercept, that might overly restrict the network flexibility and sacrifice its performance. Extensive experiments on multiple datasets and network backbones show that our linearity grafting can (1) effectively tighten certified bounds; (2) achieve competitive certifiable robustness without certified robust training (i.e., over 30% improvements on CIFAR-10 models); and (3) scale up complete verification to large adversarially trained models with 17M parameters. Codes are available at https://github.com/VITA-Group/Linearity-Grafting.

研究动机与目标

• 解决深度 ReLU 网络中过度非线性导致的神经网络验证可扩展性瓶颈问题。
• 在不依赖耗时的可认证鲁棒训练的前提下，提升可认证鲁棒性。
• 通过引入可调的线性激活函数，而非直接置零神经元，放松传统神经元剪枝方法。
• 通过减少不稳定 ReLU 神经元的数量，实现对大规模、对抗性训练模型的完整验证。
• 通过优化线性参数，维持高模型性能，避免因过度剪枝导致的性能下降。

提出的方法

• 使用激活梯度（GAP）作为显著性代理，识别不显著且不稳定的 ReLU 神经元。
• 将选定的 ReLU 神经元替换为形式为 $ a \times x + b $ 的可学习线性函数，其中 $ a $ 和 $ b $ 在微调过程中进行优化。
• 采用一次性或渐进式嫁接策略，逐步替换神经元，超参数通过标准训练进行调优。
• 使用线性松弛进行验证，其计算效率高，且在非线性减少时更加紧致。
• 将嫁接集成到预训练的对抗性训练模型中，无需从头开始训练即可提升可认证鲁棒性。
• 同时优化斜率和截距，以保持模型表达能力，避免神经元因失活而饱和。

实验结果

研究问题

• RQ1 通过将冗余的 ReLU 神经元替换为可学习的线性函数，是否能在不进行认证鲁棒训练的情况下提升可认证鲁棒性？
• RQ2 通过线性嫁接减少非线性，是否能收紧验证边界并提升可扩展性？
• RQ3 与传统神经元剪枝（即置零神经元）相比，可学习线性嫁接在性能与鲁棒性方面表现如何？
• RQ4 线性嫁接是否能实现对大规模、对抗性训练模型的完整验证？
• RQ5 在应用嫁接时，标准准确率、验证准确率与训练效率之间的权衡关系如何？

主要发现

• 与未经认证鲁棒训练的基线模型相比，线性嫁接在 CIFAR-10 模型上使认证准确率最高提升 82.30%。
• 该方法在参数量为 1700 万的模型上，于 $ \epsilon = 8/255 $ 时实现了 32.30% 的认证准确率，且未进行任何认证防御训练。
• 使用可学习参数（$ a \times x + b $）的嫁接优于将神经元置零的嫁接（即标准剪枝），使验证准确率提升 2.96%，标准准确率提升 1.63%。
• 与最先进的认证鲁棒训练相比，该方法将训练时间减少了 92.87%，同时实现了更高的验证准确率与标准准确率。
• 渐进式嫁接相比一次性嫁接，标准准确率略高但验证准确率略低，表明其在稳定性方面存在权衡。
• 该方法使原本因高非线性而难以验证的大规模模型实现了完整验证，证明了其可扩展性的显著提升。