[论文解读] Lipschitz Bounded Equilibrium Networks

Max Revay, Ruigang Wang+1 more|arXiv (Cornell University)|Oct 5, 2020

Adversarial Robustness in Machine Learning参考文献 33被引用 24

一句话总结

本文提出 Lipschitz-Bounded Equilibrium Networks (LBEN)，一种新型的均衡网络参数化方法，通过基于度量的直接参数化，在无约束训练过程中强制实施紧密的 Lipschitz 界。通过利用单调算子理论和收缩神经 ODE，LBEN 在自然激活假设（单调性和斜率限制）下确保了良好设定性，实现了对对抗攻击的高鲁棒性，且准确率下降最小，并提供了与实际鲁棒性非常接近的认证 Lipschitz 界。

ABSTRACT

This paper introduces new parameterizations of equilibrium neural networks, i.e. networks defined by implicit equations. This model class includes standard multilayer and residual networks as special cases. The new parameterization admits a Lipschitz bound during training via unconstrained optimization: no projections or barrier functions are required. Lipschitz bounds are a common proxy for robustness and appear in many generalization bounds. Furthermore, compared to previous works we show well-posedness (existence of solutions) under less restrictive conditions on the network weights and more natural assumptions on the activation functions: that they are monotone and slope restricted. These results are proved by establishing novel connections with convex optimization, operator splitting on non-Euclidean spaces, and contracting neural ODEs. In image classification experiments we show that the Lipschitz bounds are very accurate and improve robustness to adversarial attacks.

研究动机与目标

• 通过将 Lipschitz 界作为鲁棒性的代理，解决深度神经网络在对抗攻击下的脆弱性问题。
• 克服先前均衡网络方法在强制 Lipschitz 约束时需使用投影或障碍函数的局限性。
• 通过放宽对权矩阵的条件限制并采用更自然的激活函数假设（单调性和斜率限制），改善良好设定性保证。
• 实现高效、无约束的优化，用于训练鲁棒的均衡网络，同时不牺牲原始准确率。
• 通过实证结果表明，认证的 Lipschitz 界与图像分类任务中观察到的实际鲁棒性高度吻合。

提出的方法

• 提出一种新的均衡网络参数化方法，利用对称正定度量矩阵 $\Lambda$ 在网络架构中直接强制实施 Lipschitz 界。
• 利用基于神经 ODE 和非欧几里得空间上算子分裂的收缩框架，确保稳定性和良好设定性。
• 在推理和训练期间，使用 Peaceman-Rachford 和 FISTA 迭代求解器高效计算均衡状态。
• 引入一个反对称矩阵 $S$，并通过卷积和低秩结构参数化权矩阵 $W$，以保持计算效率。
• 在 FISTA 中使用修改后的近端算子，通过奇异值上界处理非卷积项如 $W_{\text{out}}^T W_{\text{out}}$。
• 使用标准 ADAM 优化进行模型训练，采用无约束学习，其中 Lipschitz 界通过参数化隐式强制实施。

实验结果

研究问题

• RQ1 是否可以在无约束训练过程中，无需使用投影或障碍函数，直接在均衡网络中强制实施 Lipschitz 界？
• RQ2 在对权矩阵的条件限制更弱、激活函数假设更自然（如单调性和斜率限制）的前提下，能否保证均衡网络的良好设定性？
• RQ3 强制实施紧密的 Lipschitz 界是否能提升图像分类任务中对对抗攻击的鲁棒性？
• RQ4 认证的 Lipschitz 上界与实际对抗攻击中观察到的鲁棒性之间的差距有多大？
• RQ5 所提出的参数化方法能否高效扩展至卷积网络，同时保持训练稳定性和收敛性？

主要发现

• 所提出的 LBEN 参数化方法实现了保证 Lipschitz 界的无约束训练，消除了对投影或障碍函数的需求。
• 在权矩阵条件更弱、激活函数仅需满足单调性和斜率限制的假设下，已建立良好设定性。
• 在 MNIST 和 SVHN 实验中，LBEN 模型在 FGSM 和 PGD 攻击下显著提升了鲁棒性，且原始准确率下降极小。
• 认证的 Lipschitz 上界非常紧密，认证界与实际对抗攻击中观察到的鲁棒性之间差距极小（例如，<10%）。
• 在训练过程中，$I - W$ 的 Lipschitz 常数逐渐增大，导致收敛所需的 FISTA 迭代次数增加，但方法仍保持计算可行性。
• 通过分块常数度量参数化和高效的奇异值估计，该方法可推广至卷积网络，实现了可扩展的训练。