[论文解读] Efficient Certification of Spatial Robustness

Anian Ruoss, Maximilian Baader+2 more|arXiv (Cornell University)|Sep 19, 2020

Adversarial Robustness in Machine Learning被引用 4

一句话总结

该论文提出了一种针对空间向量场攻击的首个可证明鲁棒性认证方法，采用新颖的凸松弛方法，结合平滑性约束。通过线性规划收紧区间边界，并与最先进的验证器集成，该方法在MNIST和CIFAR-10数据集上对平滑形变实现了更高的认证率——DeepPoly方法达76%，MILP方法达89%，显著优于非平滑或无结构攻击的鲁棒性保证。

ABSTRACT

Recent work has exposed the vulnerability of computer vision models to vector field attacks. Due to the widespread usage of such models in safety-critical applications, it is crucial to quantify their robustness against such spatial transformations. However, existing work only provides empirical robustness quantification against vector field deformations via adversarial attacks, which lack provable guarantees. In this work, we propose novel convex relaxations, enabling us, for the first time, to provide a certificate of robustness against vector field transformations. Our relaxations are model-agnostic and can be leveraged by a wide range of neural network verifiers. Experiments on various network architectures and different datasets demonstrate the effectiveness and scalability of our method.

研究动机与目标

• 为解决神经网络在面对真实世界图像失真中常见的空间向量场攻击时缺乏可证明鲁棒性保证的问题。
• 开发一种模型无关的方法，以高效且紧密地计算在向量场变换下形变图像的区间边界。
• 将平滑性约束整合到现有神经网络验证器中，以提升在真实、平滑形变下的认证性能。
• 在多种架构和数据集（包括MNIST和CIFAR-10）上展示方法的可扩展性与有效性。
• 在ERAN框架内提供开源实现，以确保可复现性与实际部署可行性。

提出的方法

• 提出一种新颖的凸松弛框架，用于计算在有界位移幅度（δ）和平滑性（γ）的向量场变换下图像像素值的紧密区间边界。
• 引入通过向量场Lipschitz连续性建模的平滑性约束，并将其编码为变换参数的线性约束。
• 利用线性规划高效求解该优化问题，从而实现与现有验证器的集成。
• 通过δ（最大像素位移）和γ（向量场平滑性）对攻击预算进行参数化，实现对形变类型的精确控制。
• 通过使用紧密包围盒对多通道图像的输出形状进行过度近似，并利用采样估计近似误差。
• 将松弛方法集成到最先进的验证器（如DeepPoly、MILP）中，实现端到端的鲁棒性认证。

实验结果

研究问题

• RQ1 我们能否为神经网络在空间向量场形变下提供可证明的鲁棒性认证，这类形变在真实世界图像失真中十分常见？
• RQ2 如何有效将平滑性约束（γ）整合到凸松弛中，以收紧边界并提升认证性能？
• RQ3 与非平滑或无结构攻击相比，所提出的松弛方法在多大程度上提升了认证率？
• RQ4 该方法在不同网络架构和数据集（包括大型模型和高分辨率图像）上的可扩展性如何？
• RQ5 多通道图像的区间边界有多紧密？与采样形变相比，近似误差如何？

主要发现

• 当γ = 0.1时，该方法在MNIST上使用DeepPoly的认证率达到76%，使用MILP达到89%，显著优于γ = ∞时的72%和87%。
• 在CIFAR-10上，使用DeepPoly的认证率从γ = ∞时的72%提升至γ = 0.1时的76%，使用MILP的认证率从87%提升至89%，证明了平滑性约束的优势。
• 当γ = 0.1时，每张图像的平均运行时间分别为394秒（DeepPoly）和1168秒（MILP），表明尽管计算量增加，但方法仍具可扩展性。
• 该方法在ImageNet上也表现出高效扩展性，区间边界计算仅需每张图像0.02秒，线性边界计算平均耗时236秒/张。
• 近似误差分析显示，包围盒过度近似覆盖了98.76%至99.10%的采样形变图像，表明近似具有高度紧致性。
• 将Balunovic等人方法与作者的平滑性约束结合后性能更优，因为前者单独使用对平滑向量场不足以提供充分保障。