[論文レビュー] Generalised Lipschitz Regularisation Equals Distributional Robustness

Zac Cranko, Zhan Shi+3 more|arXiv (Cornell University)|Feb 11, 2020

Adversarial Robustness in Machine Learning参考文献 66被引用数 5

ひとこと要約

この論文は、最適化における一般化リプシッツ正則化と分布的ロバストネスの理論的同等性を確立する。Fenchel双対性と劣微分解析を活用することで、関数がコスト関数 $ c $ に関してリプシッツ連続であるための必要十分条件が、原点における $ c $ の $ \-劣微分にその $ f $ の劣微分が含まれることであることを証明し、ロバストネスを凸共役の構造的性質に関連付ける。

ABSTRACT

The problem of adversarial examples has highlighted the need for a theory of regularisation that is general enough to apply to exotic function classes, such as universal approximators. In response, we give a very general equality result regarding the relationship between distributional robustness and regularisation, as defined with a transportation cost uncertainty set. The theory allows us to (tightly) certify the robustness properties of a Lipschitz-regularised model with very mild assumptions. As a theoretical application we show a new result explicating the connection between adversarial learning and distributional robustness. We then give new results for how to achieve Lipschitz regularisation of kernel classifiers, which are demonstrated experimentally.

研究の動機と目的

• 分布的シフト下でのリプシッツ正則化とロバストネスの関係を形式化すること。
• コスト関数 $ c $ に関するリプシッツ連続性を劣微分包含を用いて特徴付けること。
• Fenchel共役を用いた双対性に基づく $ c $-リプシッツ連続性の条件を確立すること。
• 劣線形コスト関数の下で、分布的ロバストネスが一般化リプシッツ正則化と同等であることを証明すること。

提案手法

• Fenchel双対性を用いて、$ c(x - y_0) - f(x) $ の最小化問題を共役関数を含む双対問題に変換する。
• Toland双対性公式を適用し、プライマルとデュアルの劣微分条件を関連付ける。
• 劣微分計算を用いて、すべての $ \epsilon \geq 0 $ に対して $ \partial_\epsilon f(x) \subseteq \partial_\epsilon c(0) $ が成り立つならば $ \text{lip}_c(f) \leq 1 $ であることを示す。
• Zalinescu (2002) および Hiriart-Urruty (1989) の凸解析の結果に依拠し、連続性および劣微分の空でない性質を確立する。
• コスト関数 $ c $ が劣線形であるとき $ c^* = \iota_{\partial c(0)} $ が成り立つことから、劣微分の外側では共役値が無限大になることを用いる。
• すべての $ \epsilon \geq 0 $ に対して $ \epsilon $-劣微分の包含関係 $ \partial_\epsilon f(X) \subseteq \partial_\epsilon c(0) $ が成り立つことによる、$ c $-リプシッツ連続性の必要十分条件を導出する。

実験結果

リサーチクエスチョン

• RQ1 関数 $ f $ がコスト関数 $ c $ に関してリプシッツ連続であるための条件は何か？
• RQ2 一般化リプシッツ正則化は最適化における分布的ロバストネスとどのように関係するか？
• RQ3 $ c $-リプシッツ性は劣微分包含を用いて特徴付けられるか？
• RQ4 Fenchel双対性はロバストネスと正則化をどのように結びつけるか？

主な発見

• 関数 $ f $ が $ c $-リプシッツ連続であるための必要十分条件は、すべての $ \epsilon \geq 0 $ に対してその $ \epsilon $-劣微分が原点における $ c $ の $ \epsilon $-劣微分に含まれることである。
• すべての $ \epsilon \geq 0 $ に対して $ \partial_\epsilon f(X) \subseteq \partial_\epsilon c(0) $ が成り立つことは、$ \text{lip}_c(f) \leq 1 $ と同値である。
• もし $ x^* \notin \partial_\epsilon c(0) $ ならば、$ c(x - y_0) - f(x) $ の下界は $ -\infty $ になるため、$ c $-リプシッツ条件を満たさない。
• 共役関数 $ c^* $ は $ \partial c(0) $ の指示関数であるため、$ x^* \notin \partial c(0) $ のとき $ c^*(x^*) = \infty $ となり、デュアル問題が破綻する。
• 証明により、分布的ロバストネスが双対性を介して $ c $-リプシッツ正則化の構造から自然に生じることが示された。