[論文レビュー] Lipschitz Networks and Distributional Robustness

Zac Cranko, Simon Kornblith+2 more|arXiv (Cornell University)|Sep 4, 2018

Adversarial Robustness in Machine Learning参考文献 21被引用数 6

ひとこと要約

この論文は、深層ニューラルネットワークにおけるリプシッツ連続性と分布的ロバストネスの理論的関係を確立し、モデルのリプシッツ定数を含む正則化された経験的リスクによって、分布的ロバストリスクが上界で抑えられることを示している。主な貢献は、ロバストリスク最小化の閉形式双対定式を提示することで、リプシッツ正則化の有効性を正当化し、定量的に評価することである。この結果は、敵対的ロバストネスおよび一般化性能の向上に意味を持つ。

ABSTRACT

Robust risk minimisation has several advantages: it has been studied with regards to improving the generalisation properties of models and robustness to adversarial perturbation. We bound the distributionally robust risk for a model class rich enough to include deep neural networks by a regularised empirical risk involving the Lipschitz constant of the model. This allows us to interpretand quantify the robustness properties of a deep neural network. As an application we show the distributionally robust risk upperbounds the adversarial training risk.

研究の動機と目的

• 深層学習モデルにおけるリプシッツ連続性と分布的ロバストネスの関係を形式化すること。
• モデルのリプシッツ定数を用いて、分布的ロバストリスクの閉形式上界を導出すること。
• リプシッツ正則化が分布シフトおよび敵対的摂動に対するロバストネスに与える影響を理論的に正当化すること。
• l∞-ノルム摂動設定下で、敵対的ロバストネスがワサーレイン距離に基づく分布的ロバストネスの特別な場合であることを示すこと。

提案手法

• Fenchel共役と最適輸送理論を用いて、分布的ロバストリスクの双対定式を導出する。
• 入力とラベルの距離を組み合わせたハイパーパrameter κ を用いた、入力–ラベル空間 X × Y 上の距離関数 dS|κ を導入する。
• プッシュフォワードリスク最小化フレームワークを用いて、深層ロバスト分類問題を凸最適化問題に変換する。
• リプシッツに基づくペナルティ項を含む正則化された経験的リスクが、分布的ロバストリスクを上界で抑えることを確立する。
• 双対定式を適用して、l∞-ノルム摂動設定下で敵対的リスクが分布的ロバストリスクによって上界で抑えられることを示す。
• モデルのリプシッツ定数が正則化目的関数におけるロバストネス項を直接制御することを示し、根拠に基づいた正則化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークの分布的ロバストリスクは、モデルのリプシッツ定数を含む正則化された経験的リスクによって上界で抑えられるか？
• RQ2 リプシッツ正則化はニューラルネットワークにおける敵対的ロバストネスとどのように関係するか？
• RQ3 多クラス分類において、分布的ロバストリスク最小化の閉形式双対定式は存在するか？
• RQ4 敵対的リスクは形式的に分布的ロバストネスの特別な場合として解釈できるか？

主な発見

• 分布的ロバストリスクは、モデルのリプシッツ定数に依存する正則化項を含む正則化された経験的リスクによって上界で抑えられる。
• 多クラス問題において、ロバストリスク最小化問題は、モデルの損失関数のリプシッツ定数を明示的に含む閉形式双対定式を有する。
• l∞-ノルム摂動下での敵対的リスクは、分布的ロバストリスクによって上界で抑えられ、敵対的ロバストネスが分布的ロバストネスの特別な場合であることを示している。
• 提案された正則化目的関数は、リプシッツ正則化パラメータに根拠に基づいた解釈を提供し、ヒューリスティックな選択を理論的根拠に基づく値に置き換える。
• この手法は、深層ニューラルネットワークを含む広範なモデルクラスに適用可能であり、損失関数の弱い連続性および凸性仮定のもとでバウンドが成立する。
• 理論的枠組みは、リプシッツ制約付きネットワークが一般化性能およびロバストネスの向上に実験的に成功していることを正当化する。