[論文レビュー] Exactly Computing the Local Lipschitz Constant of ReLU Networks

Matt Jordan, Alexandros G. Dimakis|arXiv (Cornell University)|Mar 2, 2020

Adversarial Robustness in Machine Learning参考文献 38被引用数 26

ひとこと要約

本稿では、混合整数プログラミング（MIP）を用いて、ReLUニューラルネットワークの局所リプシッツ定数をℓ₁およびℓ∞ノルム下で初めて正確に計算する手法LipMIPを提案する。一般化ヤコビ行列との理論的関係を確立し、入力次元にほぼ線形に比例する要因で近似すること即ち、近似が難しいことを証明する。この手法により、リプシッツ推定器の正確な評価が可能となり、アーキテクチャおよび正則化が耐性に与える影響が明らかになる。

ABSTRACT

The local Lipschitz constant of a neural network is a useful metric with applications in robustness, generalization, and fairness evaluation. We provide novel analytic results relating the local Lipschitz constant of nonsmooth vector-valued functions to a maximization over the norm of the generalized Jacobian. We present a sufficient condition for which backpropagation always returns an element of the generalized Jacobian, and reframe the problem over this broad class of functions. We show strong inapproximability results for estimating Lipschitz constants of ReLU networks, and then formulate an algorithm to compute these quantities exactly. We leverage this algorithm to evaluate the tightness of competing Lipschitz estimators and the effects of regularized training on the Lipschitz constant.

研究の動機と目的

• リプシッツ定数の正確な計算手法を提供すること。これは、耐性、一般化、公平性評価において不可欠である。
• 非滑らかで多出力のReLUネットワークにおけるリプシッツ定数の推定に、正確な手法が欠如している問題に対処すること。
• リプシッツ定数の近似可能性に理論的限界を確立し、ℓ₁およびℓ∞ノルム下で強い近似不能性結果を示すこと。
• 既存のヒューリスティックおよび上界推定器が真の正確値に対してどれほどタイトな境界を与えるかを評価すること。
• 正確な計算を用いて、ネットワークアーキテクチャおよび正則化がリプシッツ定数に与える影響を分析すること。

提案手法

• 本稿では、一般化ヤコビ行列のスアップレームノルムにおける最適化として、局所リプシッツ定数を定式化し、古典的結果を滑らかでないベクトル値関数へと拡張する。
• 標準的なバックプロパゲーションのチェーンルールが一般化ヤコビ行列の要素を常に生成するための十分条件を導入し、正しい計算を可能にする。
• 提案手法LipMIPは、混合整数プログラミング（MIP）を用いて、多面体領域上での局所リプシッツ定数を正確に計算する。MIPソルバを用いて最適化問題を解く。
• 緩和版として、指定された整数性ギャップで早期停止を行うLipMIPと、線形プログラミング緩和であるLipLPを導入し、効率性と正確性のバランスを図る。
• ℓ₁、ℓ∞、およびマルチクラス耐性検証のためのクロスノルムを含む、複数のノルムをサポートする。
• MNISTおよび合成データセットを用いて検証を行い、さまざまなアーキテクチャおよび正則化スキームにおいて、正確な結果とさまざまな推定器を比較する。

実験結果

リサーチクエスチョン

• RQ1 ℓ₁およびℓ∞ノルム下で、ReLUネットワークの局所リプシッツ定数を正確に計算することは可能か？ もしそうなら、どのように行うか？
• RQ2 ReLUネットワークのリプシッツ定数の近似にはどのような理論的限界があり、定数要因の近似ですら難しいのか？
• RQ3 さまざまな正則化スキームおよびネットワークアーキテクチャが、実際のリプシッツ定数にどのような影響を与えるか？ そして、これらの影響は信頼性を持って測定可能か？
• RQ4 既存のヒューリスティックおよび上界推定器が真の正確値に対してどれほどタイトな境界を与えるか？
• RQ5 MIPによる正確な計算は、ディープラーニングモデルにおける耐性証明および公平性指標の検証と改善に利用可能か？

主な発見

• 本稿では、スカラー出力のReLUネットワークがℓ₁またはℓ∞ノルム下で局所リプシッツ定数を、入力次元にほぼ線形に比例する要因で近似することは、強く近似不能であることを証明する。
• LipMIPは、ℓ₁およびℓ∞ノルム下でReLUネットワークの正確な局所リプシッツ定数を正確に計算でき、MNISTおよび合成データセットで結果が検証された。
• 線形プログラミング緩和（LipLP）は、ランダムネットワークで相対誤差+462.26%、合成データセットで+389.80%を示し、著しく緩い境界であることが判明した。
• LipMIPを1%の整数性ギャップで早期停止すると、ランダムネットワークで相対誤差が0.72%、合成データセットで0.57%にまで低下し、著しい高速化とともにほぼ最適な境界が達成された。
• 実際の実験では、LipSDPのような高度な推定器ですら、真の定数を著しく過大評価することが示された。
• 本研究により、正則化およびアーキテクチャ的選択がリプシッツ定数に測定可能で定量的な影響を与えることが明らかになった。