[论文解读] Improving the Tightness of Convex Relaxation Bounds for Training Certifiably Robust Classifiers
本文提出了两种新颖的正则化项，通过使松弛问题的解在原始非凸问题中可行，从而提升了凸松弛界在训练可认证鲁棒神经网络时的紧致性。该方法缩小了认证鲁棒性与经验鲁棒性之间的差距，在不同扰动范围下，MNIST 和 CIFAR-10 上均实现了当前最优的认证准确率。
Convex relaxations are effective for training and certifying neural networks against norm-bounded adversarial attacks, but they leave a large gap between certifiable and empirical robustness. In principle, convex relaxation can provide tight bounds if the solution to the relaxed problem is feasible for the original non-convex problem. We propose two regularizers that can be used to train neural networks that yield tighter convex relaxation bounds for robustness. In all of our experiments, the proposed regularizers result in higher certified accuracy than non-regularized baselines.
研究动机与目标
- 减少使用凸松弛界训练神经网络时，认证鲁棒性与经验鲁棒性之间的差距。
- 识别凸松弛界变紧的条件，从而实现对鲁棒性的更好验证。
- 开发正则化项，引导训练过程趋向于在原始非凸问题中可行的解，从而提升界紧致性。
- 通过正则化改善初始网络权重质量，从而提升 Fast-Lin 和 IBP 等高效验证器的性能。
- 在标准基准测试中，实现优于非正则化基线方法和当前最优方法的认证准确率。
提出的方法
- 提出对松弛问题的线性网络解释，其中最优解可表示为在每一层注入对抗扰动的线性网络前向传播。
- 通过分析松弛问题中扰动在各层间的累积效应，识别出实现紧致界所需的最优性条件。
- 提出两种正则化项：一种基于中间层的预激活界，另一种基于外部对抗多面体，以促进松弛解在原始问题中的可行性。
- 将正则化项整合进训练目标，以在优化过程中鼓励更紧致的凸松弛界。
- 使用 Fast-Lin 和 IBP 等高效验证器评估认证鲁棒性，确保可扩展性与实用性。
- 在两种设置中应用正则化项：独立的凸松弛训练，以及作为 CROWN-IBP（一种两阶段训练方法）的初始化。
实验结果
研究问题
- RQ1能否通过正则化网络，使其输出在原始非凸问题中可行，从而收紧凸松弛界？
- RQ2松弛问题的何种结构或优化特性导致了认证鲁棒性与经验鲁棒性之间的差距？
- RQ3与 IBP 和 CROWN-IBP 等现有方法相比，所提出的正则化项在认证准确率方面表现如何？
- RQ4即使使用 Fast-Lin 等高效验证器，不依赖昂贵的逐层最优松弛，正则化项是否仍能提升性能？
- RQ5将正则化项用作初始化，是否能在 CROWN-IBP 等两阶段训练方法中提升最终的认证准确率？
主要发现
- 在 MNIST 和 CIFAR-10 的所有评估设置中，所提正则化项均一致地优于非正则化基线方法，显著提升了认证鲁棒准确率。
- 在 MNIST 上 ε=0.3 时，方法实现了 10.18±0.5% 的认证准确率，优于先前工作的最佳报告结果。
- 在 CIFAR-10 上 ε=2/255 时，该方法在同类规模模型中实现了最佳认证准确率，展现出当前最优性能。
- 对于 MNIST 上的小型精确模型，认证鲁棒误差的相对改善分别为 ε=0.1 时 18%，ε=0.3 时 3.4%，表明界紧致性显著提升。
- 在 CROWN-IBP 中应用正则化项可改善初始化阶段，从而在 MNIST（ε=0.3）和 CIFAR-10（ε=8/255）上均获得更高的最终认证准确率。
- 消融实验确认，两种正则化项均对性能提升有贡献，且在多个模型族和随机种子下均保持一致的改进。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。