[论文解读] Lipschitz Networks and Distributional Robustness

Zac Cranko, Simon Kornblith+2 more|arXiv (Cornell University)|Sep 4, 2018

Adversarial Robustness in Machine Learning参考文献 21被引用 6

一句话总结

本文通过证明分布鲁棒风险可被一个包含模型Lipschitz常数的正则化经验风险所上界控制，建立了深度神经网络中Lipschitz连续性与分布鲁棒性之间的理论联系。关键贡献在于为鲁棒风险最小化提供了闭式对偶公式，从而解释并量化了Lipschitz正则化的有效性，对对抗鲁棒性和泛化性具有重要意义。

ABSTRACT

Robust risk minimisation has several advantages: it has been studied with regards to improving the generalisation properties of models and robustness to adversarial perturbation. We bound the distributionally robust risk for a model class rich enough to include deep neural networks by a regularised empirical risk involving the Lipschitz constant of the model. This allows us to interpretand quantify the robustness properties of a deep neural network. As an application we show the distributionally robust risk upperbounds the adversarial training risk.

研究动机与目标

• 正式建立深度学习模型中Lipschitz连续性与分布鲁棒性之间的联系。
• 利用模型的Lipschitz常数，推导出分布鲁棒风险的闭式上界。
• 通过将Lipschitz正则化与分布偏移及对抗扰动下的鲁棒性关联，为神经网络中的Lipschitz正则化提供理论依据。
• 证明在Wasserstein度量下，对抗鲁棒性是分布鲁棒性的特例。

提出的方法

• 利用Fenchel共轭和最优传输理论，推导分布鲁棒风险的对偶公式。
• 在输入-标签空间 X × Y 上引入一个度量 dS|κ，该度量结合了输入距离与标签距离，并引入一个超参数 κ。
• 采用前向传播风险最小化框架，将深度鲁棒分类问题转化为凸优化问题。
• 证明基于Lipschitz常数的惩罚项的正则化经验风险可上界控制分布鲁棒风险。
• 将对偶公式应用于证明在 l∞-范数扰动设置下，对抗风险被分布鲁棒风险所上界控制。
• 证明模型的Lipschitz常数直接控制正则化目标中的鲁棒性项，从而实现有原则的正则化。

实验结果

研究问题

• RQ1 深度神经网络的分布鲁棒风险能否被一个包含Lipschitz常数的正则化经验风险所上界控制？
• RQ2 Lipschitz正则化在神经网络中如何与对抗鲁棒性相关联？
• RQ3 多分类问题中，分布鲁棒风险最小化是否存在闭式对偶公式？
• RQ4 对抗风险能否被正式解释为分布鲁棒性的特例？

主要发现

• 分布鲁棒风险可被一个正则化经验风险所上界控制，其中正则化项依赖于模型的Lipschitz常数。
• 对于多分类问题，鲁棒风险最小化问题存在一个显式包含模型损失函数Lipschitz常数的闭式对偶公式。
• 在 l∞-范数扰动下，对抗风险被分布鲁棒风险所上界控制，从而确立了对抗鲁棒性是分布鲁棒性的特例。
• 所提出的正则化目标为Lipschitz正则化参数提供了有原则的解释，将启发式选择替换为理论依据充分的取值。
• 该方法适用于广泛的模型类别，包括深度神经网络，且在损失函数满足温和的连续性和凸性假设下，边界依然成立。
• 理论框架为Lipschitz约束网络在提升泛化性和鲁棒性方面的经验成功提供了理论支持。