[论文解读] Certified Training: Small Boxes are All You Need

Mark Niklas Müller, Franziska Eckert+2 more|arXiv (Cornell University)|Oct 10, 2022

Adversarial Robustness in Machine Learning被引用 10

一句话总结

SABR 是一种经过认证的训练方法，通过使用 Box 逼近法传播输入扰动区域中经过仔细选择的小部分区域，减少过正则化，从而在 MNIST、CIFAR-10 和 TinyImageNet 上实现最先进的标准准确率和认证准确率，同时不损失优化的可处理性。

ABSTRACT

To obtain, deterministic guarantees of adversarial robustness, specialized training methods are used. We propose, SABR, a novel such certified training method, based on the key insight that propagating interval bounds for a small but carefully selected subset of the adversarial input region is sufficient to approximate the worst-case loss over the whole region while significantly reducing approximation errors. We show in an extensive empirical evaluation that SABR outperforms existing certified defenses in terms of both standard and certifiable accuracies across perturbation magnitudes and datasets, pointing to a new class of certified training methods promising to alleviate the robustness-accuracy trade-off.

研究动机与目标

• 通过减少由不精确的最坏情况损失近似引起的过正则化，解决认证训练中的鲁棒性-准确率权衡问题。
• 克服标准认证训练方法的局限性，即使用完整输入区域并结合不精确的逼近法，导致高近似误差和泛化性能差。
• 开发一种方法，在保持计算可处理性的同时，通过选择性区域传播实现更紧密的最坏情况损失近似。
• 通过聚焦于具有代表性的对抗子区域，实现更好的泛化和更高的标准准确率，同时不损害可认证的鲁棒性。
• 建立一种基于合理子集选择而非全区域传播的新认证训练范式。

提出的方法

• 仅使用 Box 逼近法（区间边界传播）在网络中传播输入扰动区域（例如 ℓ∞-球）中一小部分、经过仔细选择的子集。
• 利用 Box 逼近法计算这些子集的可达集的上界近似，确保计算效率和可扩展性。
• 根据其捕捉最坏情况损失方向的潜力来选择子集，以最大化识别最鲁棒对抗方向的可能性。
• 在这些选定子集上优化最坏情况损失近似，相比全区域 Box 传播，显著降低近似误差。
• 将基于子集的最坏情况损失集成到训练目标中，支持使用标准优化方法进行端到端反向传播。
• 利用关于 Box 逼近法增长的理论洞见指导子集选择，确保所得损失近似的紧致性。

实验结果

研究问题

• RQ1 仅传播输入扰动区域中一小部分有代表性的子集，是否能比全区域 Box 传播获得更紧致的最坏情况损失近似？
• RQ2 降低最坏情况损失估计中的近似误差，是否能减少过正则化，并在认证训练中提升标准准确率？
• RQ3 基于子集的方法是否能在保持计算可处理性的同时，优于全区域方法，在认证准确率和标准准确率上均表现更优？
• RQ4 Box 逼近法在网络传播过程中的增长特性，如何影响有代表性的输入子集的选择？
• RQ5 该方法是否能在不同数据集和扰动范数（例如 ℓ∞）上泛化，同时保持最先进性能？

主要发现

• SABR 在 MNIST、CIFAR-10 和 TinyImageNet 上，针对多种扰动幅度，实现了最先进的认证准确率，优于现有认证训练方法。
• 与基线认证训练方法相比，SABR 在保持或提升认证鲁棒性的同时，将标准准确率提高了最多 15%。
• 通过最小化最坏情况损失估计中的近似误差，该方法减少了过正则化，从而在干净输入上实现了更好的泛化性能。
• 实证结果表明，SABR 的基于子集的方法相比全区域 Box 传播，能显著获得更紧致的最坏情况损失近似。
• 理论分析证实，选择性子集传播可缓解深度网络推理过程中 Box 逼近误差的指数级增长。
• SABR 在不同数据集和扰动范数上均具有泛化能力，表现出一致的性能提升，且无需架构修改或额外超参数。