[論文レビュー] Lipschitz Bounds and Provably Robust Training by Laplacian Smoothing

Vishaal Krishnan, Abed AlRahman Al Makdah+1 more|arXiv (Cornell University)|Jun 5, 2020

Adversarial Robustness in Machine Learning参考文献 46被引用数 5

ひとこと要約

本稿では、ラグランジュの鞍点から導かれる重み付きラプラシアン作用素を用いたポisson方程式を通じてリプシッツ制約を強制することにより、証明可能なロバスト性を達成するグラフベースの学習フレームワークを提案する。主な貢献は、損失関数とデータ分布にのみ依存する、敵対的ロバスト性の根本的下界を特定することであり、ロバスト性と通常性能の間の本質的トレードオフを明らかにする。

ABSTRACT

In this work we propose a graph-based learning framework to train models with provable robustness to adversarial perturbations. In contrast to regularization-based approaches, we formulate the adversarially robust learning problem as one of loss minimization with a Lipschitz constraint, and show that the saddle point of the associated Lagrangian is characterized by a Poisson equation with weighted Laplace operator. Further, the weighting for the Laplace operator is given by the Lagrange multiplier for the Lipschitz constraint, which modulates the sensitivity of the minimizer to perturbations. We then design a provably robust training scheme using graph-based discretization of the input space and a primal-dual algorithm to converge to the Lagrangian's saddle point. Our analysis establishes a novel connection between elliptic operators with constraint-enforced weighting and adversarial learning. We also study the complementary problem of improving the robustness of minimizers with a margin on their loss, formulated as a loss-constrained minimization problem of the Lipschitz constant. We propose a technique to obtain robustified minimizers, and evaluate fundamental Lipschitz lower bounds by approaching Lipschitz constant minimization via a sequence of gradient $p$-norm minimization problems. Ultimately, our results show that, for a desired nominal performance, there exists a fundamental lower bound on the sensitivity to adversarial perturbations that depends only on the loss function and the data distribution, and that improvements in robustness beyond this bound can only be made at the expense of nominal performance. Our training schemes provably achieve these bounds both under constraints on performance and~robustness.

研究の動機と目的

• 敵対的機械学習における理論的理解の不足と証明可能なロバスト性保証の欠如に対処すること。
• モデルに硬いリプシッツ制約を課す制約付き最適化問題として、敵対的ロバストな学習を定式化すること。
• モデルアーキテクチャに依存せず、損失関数とデータ分布にのみ依存するロバスト性の根本的下界を導出すること。
• グラフ離散化とプライマル・デュアル最適化を用いて、これらの下界を証明的に達成する学習スキームを設計すること。
• リプシッツ定数と損失マージンの逆関係によって定量化される、モデル性能とロバスト性の根本的トレードオフを明らかにすること。

提案手法

• ラグランジュ双対アプローチを用いて、期待損失の最小化に加え、モデルに対するリプシッツ制約を課えることで、ロバストな学習問題を定式化する。
• ラグランジュ関数の鞍点を、ラグランジュ乗数が重みとなる重み付きラプラシアン作用素を用いたポアソン方程式の弱解として特徴付ける。
• 入力空間のグラフベース離散化を用いて、有限グラフ上で得られる偏微分方程式を数値的に解く。
• プライマル・デュアルアルゴリズムを用いて鞍点に収束させ、最適なロバストモデルへの収束を保証する。
• Morreyの不等式を活用し、次々に $p > \dim(\mathbb{X})$ に対する勾配 $p$-ノルム最小化問題を解くことで、リプシッツ定数の最小化に近づく。
• 繰り返し適用可能なグラフベースの手続きを用いて、最小化子のロバスト性を向上させつつ、損失のマージンを維持する。

実験結果

リサーチクエスチョン

• RQ1 与えられた損失関数とデータ分布に対して、敵対的ロバスト性の根本的下限は何か？
• RQ2 性能制約下で理論的ロバスト性下限を証明的に達成する学習スキームはどのように設計できるか？
• RQ3 リプシッツ制約付き学習におけるモデル性能とロバスト性の本質的トレードオフは何か？
• RQ4 ラプラシアン作用素の重み付け（ラグランジュ乗数による）は、モデルの摂動に対する感度にどのように影響するか？
• RQ5 ベースラインを上回るロバスト性を体系的かつ保証された通常性能のマージンを維持したまま向上させることは可能か？

主な発見

• 最適なロバストモデルは、リプシッツ制約を強制するラグランジュ乗数が重みとなる重み付きラプラシアン作用素を用いたポアソン方程式の解として特徴付けられる。
• 任意の望ましい通常性能水準を達成するモデルに対して、損失関数とデータ分布にのみ依存するリプシッツ定数の根本的下限が存在する。
• この下限を上回るロバスト性を向上させることは、通常性能の低下を伴うのみであり、硬いトレードオフが成立する。
• $p > \dim(\mathbb{X})$ に対する $p$-ポアソン問題の系列は、最小の実現可能なリプシッツ定数を持つグローバル最適最小化子に一様収束する。
• 数値実験では、摂動に対する感度がリプシッツバウンド $\alpha = 18$ まで上昇し、分類の信頼性が向上するにつれてロバスト性が低下することが示された。
• 提案された学習スキームは、性能制約およびロバスト性制約下で理論的下限を証明的に達成する。