[论文解读] IBP Regularization for Verified Adversarial Robustness via Branch-and-Bound

Alessandro De Palma, Rudy Bunel+3 more|arXiv (Cornell University)|Jun 29, 2022

Adversarial Robustness in Machine Learning被引用 7

一句话总结

该论文提出 IBP-R，一种简单而高效的验证训练方法，通过将对抗攻击应用于显著扩大的扰动域，并结合区间边界传播（IBP）正则化，以收紧验证松弛，从而提升对抗鲁棒性。IBP-R 在 ε=2/255 时于 CIFAR-10 上实现了最先进的验证准确率（61.97），训练时间不足先前方法（如 COLT）的三分之一，同时引入了 UPB，一种低成本的分支策略，其验证性能与 FSB 相当，且开销极低。

ABSTRACT

Recent works have tried to increase the verifiability of adversarially trained networks by running the attacks over domains larger than the original perturbations and adding various regularization terms to the objective. However, these algorithms either underperform or require complex and expensive stage-wise training procedures, hindering their practical applicability. We present IBP-R, a novel verified training algorithm that is both simple and effective. IBP-R induces network verifiability by coupling adversarial attacks on enlarged domains with a regularization term, based on inexpensive interval bound propagation, that minimizes the gap between the non-convex verification problem and its approximations. By leveraging recent branch-and-bound frameworks, we show that IBP-R obtains state-of-the-art verified robustness-accuracy trade-offs for small perturbations on CIFAR-10 while training significantly faster than relevant previous work. Additionally, we present UPB, a novel branching strategy that, relying on a simple heuristic based on $β$-CROWN, reduces the cost of state-of-the-art branching algorithms while yielding splits of comparable quality.

研究动机与目标

• 开发一种简单而有效的验证训练方法，以在小扰动下实现高验证鲁棒性。
• 在不牺牲性能的前提下，降低验证鲁棒性方法的训练成本。
• 通过引入一种新颖的低成本分支策略，提升分支定界验证的效率。
• 弥合对抗鲁棒神经网络中可验证性与实际训练效率之间的差距。

提出的方法

• IBP-R 在显著大于目标鲁棒性半径的扰动域上执行对抗攻击，以提升泛化能力与可验证性。
• 其基于区间边界传播（IBP）引入正则化项，以最小化非凸验证问题与其凸松弛之间的差距。
• 该方法利用近期的分支定界框架，实现对训练网络的高效且可扩展的验证。
• UPB 是一种新颖的分支策略，利用 β-CROWN 的对偶信息，以极低计算成本启发式地对分支决策进行排序。
• UPB 仅需一次梯度反向传播即可计算分支优先级，相比最先进方法具有更高的效率。
• 该方法将 IBP 正则化与改进的训练目标相结合，以增强验证中使用的凸松弛的紧致性。

实验结果

研究问题

• RQ1 仅通过 IBP 正则化的简单训练流程，能否在小扰动下实现最先进的验证鲁棒性？
• RQ2 IBP-R 与 COLT 等现有验证训练方法相比，在训练速度和验证准确率方面表现如何？
• RQ3 像 UPB 这类低成本分支策略能否实现与 FSB 等昂贵的最先进方法相当的验证性能？
• RQ4 使用扩大的攻击域是否能提升对抗训练网络的可验证性？

主要发现

• 在 ε=2/255 时，IBP-R 在 CIFAR-10 上实现了 61.97 的验证准确率，MI-FGSM 攻击下鲁棒准确率为 66.39，自然准确率为 78.19。
• 在 ε=2/255 时，IBP-R 的训练时间不足 COLT 所需时间的三分之一，且验证准确率更高。
• 在 ε=8/255 时，IBP-R 实现了具有竞争力的验证准确率，同时训练时间相比 COLT 减少了近一半。
• UPB 的验证性能与 FSB 相当，平均运行时间分别为 98.87 秒（ε=2/255）和 100.19 秒（ε=8/255），超时率分别为 5.16% 和 4.46%。
• UPB 在 ε=2/255 时减少了访问的子问题数量，而在 ε=8/255 时略有增加，但保持了优异性能且开销极低。
• COLT 的 Jax 实现版本在 ε=2/255 和 ε=8/255 时分别实现了 5.7× 和 4.4× 的加速，验证了时间比较的公平性。