[论文解读] Lipschitz Bounds and Provably Robust Training by Laplacian Smoothing

Vishaal Krishnan, Abed AlRahman Al Makdah+1 more|arXiv (Cornell University)|Jun 5, 2020

Adversarial Robustness in Machine Learning参考文献 46被引用 5

一句话总结

本文提出了一种基于图的训练框架，通过拉格朗日对偶点导出的带权拉普拉斯算子的泊松方程施加利普希茨约束，实现了可证明的鲁棒机器学习模型。关键贡献在于，仅依赖损失函数和数据分布，揭示了鲁棒性与正常性能之间固有的权衡关系，给出了对抗鲁棒性的基本下界。

ABSTRACT

In this work we propose a graph-based learning framework to train models with provable robustness to adversarial perturbations. In contrast to regularization-based approaches, we formulate the adversarially robust learning problem as one of loss minimization with a Lipschitz constraint, and show that the saddle point of the associated Lagrangian is characterized by a Poisson equation with weighted Laplace operator. Further, the weighting for the Laplace operator is given by the Lagrange multiplier for the Lipschitz constraint, which modulates the sensitivity of the minimizer to perturbations. We then design a provably robust training scheme using graph-based discretization of the input space and a primal-dual algorithm to converge to the Lagrangian's saddle point. Our analysis establishes a novel connection between elliptic operators with constraint-enforced weighting and adversarial learning. We also study the complementary problem of improving the robustness of minimizers with a margin on their loss, formulated as a loss-constrained minimization problem of the Lipschitz constant. We propose a technique to obtain robustified minimizers, and evaluate fundamental Lipschitz lower bounds by approaching Lipschitz constant minimization via a sequence of gradient $p$-norm minimization problems. Ultimately, our results show that, for a desired nominal performance, there exists a fundamental lower bound on the sensitivity to adversarial perturbations that depends only on the loss function and the data distribution, and that improvements in robustness beyond this bound can only be made at the expense of nominal performance. Our training schemes provably achieve these bounds both under constraints on performance and~robustness.

研究动机与目标

• 解决对抗机器学习中理论理解不足和可证明鲁棒性保证缺乏的问题。
• 将对抗鲁棒学习形式化为带有模型利普希茨约束的约束优化问题。
• 推导出仅依赖于损失函数和数据分布、与模型架构无关的鲁棒性基本下界。
• 设计一种训练方案，通过图离散化和原始-对偶优化，可证明地实现这些边界。
• 揭示模型性能与鲁棒性之间的基本权衡，其量化关系为利普希茨常数与损失间隔的反比关系。

提出的方法

• 将鲁棒学习问题表述为在模型上施加利普希茨约束下最小化期望损失，采用拉格朗日对偶方法。
• 将拉格朗日对偶的鞍点表征为带权拉普拉斯算子的泊松方程的弱解，其中权重为拉格朗日乘子。
• 采用输入空间的图离散化方法，在有限图上数值求解所得的偏微分方程。
• 使用原始-对偶算法收敛至鞍点，确保收敛至最优鲁棒模型。
• 通过一系列 $p > \dim(\mathbb{X})$ 的梯度 $p$-范数最小化问题逼近利普希茨常数最小化，利用莫雷不等式保证收敛性。
• 采用迭代图基过程在保持损失间隔的同时提升最小化器的鲁棒性。

实验结果

研究问题

• RQ1 对于给定的损失函数和数据分布，对抗鲁棒性的基本下界是什么？
• RQ2 如何设计一种训练方案，可在性能约束下可证明地实现理论鲁棒性边界？
• RQ3 在利普希茨约束学习中，模型性能与鲁棒性之间的内在权衡是什么？
• RQ4 拉普拉斯算子中的加权（通过拉格朗日乘子）如何影响模型对扰动的敏感性？
• RQ5 我们能否系统性地提升模型的鲁棒性，超越基线水平，同时保持对正常性能的保证？

主要发现

• 最优鲁棒模型被表征为带权拉普拉斯算子的泊松方程的解，其中权重为强制执行利普希茨约束的拉格朗日乘子。
• 对于任何实现特定正常性能水平的模型，利普希茨常数均存在一个基本下界，该下界仅依赖于损失函数和数据分布。
• 在不降低正常性能的前提下，无法超越该下界提升鲁棒性，从而确立了严格的权衡关系。
• 对于 $p > \dim(\mathbb{X})$ 的一系列 $p$-泊松问题，其解一致收敛至具有最小可实现利普希茨常数的全局最优最小化器。
• 数值实验表明，当 $α = 18$ 时，对扰动的敏感性随利普希茨界增加，且随着分类置信度提高，鲁棒性下降。
• 所提出的训练方案在性能和鲁棒性约束下，可证明地实现了理论鲁棒性下界。