[论文解读] Generalised Lipschitz Regularisation Equals Distributional Robustness

Zac Cranko, Zhan Shi+3 more|arXiv (Cornell University)|Feb 11, 2020

Adversarial Robustness in Machine Learning参考文献 66被引用 5

一句话总结

本文建立了广义利普希茨正则化与优化中的分布鲁棒性之间的理论等价性。通过利用Fenchel对偶性和次微分分析，证明了当且仅当函数 $ f $ 的 $ \-次微分在原点处包含于成本函数 $ c $ 的次微分中时，该函数关于成本函数 $ c $ 是利普希茨连续的，从而将鲁棒性与凸共轭的结构性质联系起来。

ABSTRACT

The problem of adversarial examples has highlighted the need for a theory of regularisation that is general enough to apply to exotic function classes, such as universal approximators. In response, we give a very general equality result regarding the relationship between distributional robustness and regularisation, as defined with a transportation cost uncertainty set. The theory allows us to (tightly) certify the robustness properties of a Lipschitz-regularised model with very mild assumptions. As a theoretical application we show a new result explicating the connection between adversarial learning and distributional robustness. We then give new results for how to achieve Lipschitz regularisation of kernel classifiers, which are demonstrated experimentally.

研究动机与目标

• 正式建立利普希茨正则化与分布偏移下鲁棒性之间的联系。
• 利用次微分包含关系刻画相对于成本函数 $ c $ 的利普希茨连续性。
• 通过Fenchel共轭建立基于对偶性的 $ c $-利普希茨连续性条件。
• 证明在次线性成本函数下，分布鲁棒性与广义利普希茨正则化等价。

提出的方法

• 利用Fenchel对偶性将 $ c(x - y_0) - f(x) $ 的最小化问题转化为涉及共轭函数的对偶问题。
• 应用Toland对偶公式以关联原问题与对偶问题的次微分条件。
• 运用次微分微积分方法，证明若对所有 $ \epsilon \geq 0 $ 都有 $ \partial_\epsilon f(x) \subseteq \partial_\epsilon c(0) $，则 $ \text{lip}_c(f) \leq 1 $。
• 依赖Zalinescu (2002) 和 Hiriart-Urruty (1989) 的凸分析结果，以建立连续性与次微分非空性。
• 利用当 $ c $ 为次线性函数时 $ c^* = \iota_{\partial c(0)} $ 的事实，导出在次微分之外区域共轭值为无穷大。
• 通过 $ \epsilon $-次微分在零点处的包含关系，推导出 $ c $-利普希茨连续性的充要条件。

实验结果

研究问题

• RQ1 在何种条件下，函数 $ f $ 关于成本函数 $ c $ 是利普希茨连续的？
• RQ2 广义利普希茨正则化在优化中如何与分布鲁棒性相关联？
• RQ3 $ c $-利普希茨性质能否通过次微分包含关系来刻画？
• RQ4 Fenchel对偶性在连接鲁棒性与正则化中起到何种作用？

主要发现

• 当且仅当对所有 $ \epsilon \geq 0 $，函数 $ f $ 的 $ \epsilon $-次微分包含于 $ c $ 在零点处的 $ \epsilon $-次微分中时，$ f $ 是 $ c $-利普希茨连续的。
• 对所有 $ \epsilon \geq 0 $，条件 $ \partial_\epsilon f(X) \subseteq \partial_\epsilon c(0) $ 与 $ \text{lip}_c(f) \leq 1 $ 等价。
• 若 $ x^* \notin \partial_\epsilon c(0) $，则 $ c(x - y_0) - f(x) $ 的下确界为 $ -\infty $，意味着 $ c $-利普希茨条件不成立。
• 共轭函数 $ c^* $ 是 $ \partial c(0) $ 的指示函数，因此当 $ x^* \notin \partial c(0) $ 时 $ c^*(x^*) = \infty $，这将破坏对偶问题。
• 该证明表明，通过对偶性，分布鲁棒性自然源于 $ c $-利普希茨正则化的结构。