[論文レビュー] Lipschitz constant estimation of Neural Networks via sparse polynomial optimization

Fabian Latorre, Paul Rolland+1 more|arXiv (Cornell University)|Apr 18, 2020

Adversarial Robustness in Machine Learning参考文献 42被引用数 53

ひとこと要約

LiPopt はニューラルネットのリップシッツ定数のより厳密な上界を、ポリノミアル最適化へ緩和し、ネットワークのスパース性を活用する一連の LP を解くことで算出し、MNIST 上の l_infty ノルムおよびランダムネットワークに対してベースライン（いくつかの SDP アプローチを含む）を上回る。

ABSTRACT

We introduce LiPopt, a polynomial optimization framework for computing increasingly tighter upper bounds on the Lipschitz constant of neural networks. The underlying optimization problems boil down to either linear (LP) or semidefinite (SDP) programming. We show how to use the sparse connectivity of a network, to significantly reduce the complexity of computation. This is specially useful for convolutional as well as pruned neural networks. We conduct experiments on networks with random weights as well as networks trained on MNIST, showing that in the particular case of the $\\ell_\\infty$-Lipschitz constant, our approach yields superior estimates, compared to baselines available in the literature.

研究の動機と目的

• Neural networks の頑健性と一般化分析のために Lipschitz 定数の厳密な上界が必要であることを動機づける。
• リップシッツ定数を LP/SDP への緩和を通じて上界する多項式最適化フレームワークとして LiPopt を紹介する。
• ネットワークのスパース性を活用して計算量を削減し、畳み込み／プルーニングされたアーキテクチャへスケールさせる。
• ランダムネットワークと MNIST 登録ネットワークで手法を評価し、l_infty ノルムに焦点を当てる。
• 計算と界の厳密性の間のスケーラブルで調整可能なトレードオフを提供する。

提案手法

• L(f_d) を勾配のノルムの上限として定義し、導関数変数 s_i = sigma'(f_i(x)) に対する derivative variables を用いた多項式最適化問題 (POP) に落とす。
• l_infty ノルムに特化し、双対変数 t を -1 <= t_i <= 1 で制限することで目的を多項式 (ノルム-勾配多項式 p) に変換する。
• Krivine’s Positivstellensatz を適用して、正性の証明を介して L(f_d) の上界を提供する LP の階層を得る（階層次数は k、theta_k）。
• 有効な sparsity pattern と sparse Krivine 証明を導入し、ネットワークの接続性と計算グラフ G_d を活用して LP のサイズを削減する。
• 関連する境界として QCQP/SDP 緩和（Shor の緩和）を別に導入するが、いくつかのケースで緩さがあり、スケーラビリティも劣る。
• アルゴリズム 1 LiPopt for ELU activations and sparsity patterns はノルム-勾配多項式を計算し、 sparse positivity 証明を構築し、LP を解いて界を得る、という流れを説明する。

実験結果

リサーチクエスチョン

• RQ1 ポリノミアル最適化の緩和を用いてニューラルネットワークのリップシッツ定数の上界を求めることは可能か。
• RQ2 ネットワークのスパース性を活用することで、密な定式化や SDP ベースの手法と比べてスケーラブルで厳密な上界が得られるか。
• RQ3 LP ベースの界（LipOpt-k）は標準的なベンチマークの MNIST やランダムネットワークにおいて SDP の界や層ごとの界とどう比較されるか。
• RQ4 局所的な(インスタンス固有の)入力領域を用いた場合、リップシッツ定数の界の厳密さにどのような影響があるか。

主な発見

• LiPopt は LP ベースの界の階層を提供し、特に階層次数が上がるにつれて既存の SDP ベースの界よりも厳密になることがある。
• 疎性を sparse Krivine 証明で活用することで LP のサイズと計算時間を大幅に削減し、深いまたは畳み込み/プルーニングされたネットワークに対してもより厳密な界を可能にする。
• MNIST 登録ネットワークとランダムネットワークの両方で、k > depth のとき LipOpt-k が対応する SDP 緩和より界の厳密性で勝ることがあり、スパース性と相性が良い。
• ローカルな入力ボール内での局所的 Lipschitz 定数推定は全体的な界を緩くする可能性があるが、データ点周辺でより厳密な証明を可能にし、頑健性認証に有利であることを示唆する。
• UBP（層ごとの界）と比較して、報告された実験で LipOpt-k がはるかに厳密な上界を提供する。
• 本アプローチは導関数を有界とする一般的な活性化関数（例：ELU、softplus）にも対応し、頑健性の関連性の高い l_infty ノルムに焦点を当てる。