[論文レビュー] Lipschitz regularity of deep neural networks: analysis and efficient estimation

Kevin Scaman, Aladin Virmaux|arXiv (Cornell University)|May 28, 2018

Adversarial Robustness in Machine Learning参考文献 24被引用数 135

ひとこと要約

本論文はニューラルネットの正確なリプシッツ計算がNP困難であることを証明し、AutoLipとSeqLipを導入して自動微分可能な関数のリプシッツ定数を効率的に上界する方法を提案する。実験ではSeqLipがさまざまなアーキテクチャでAutoLipの界を大幅に改善し、併せてPyTorch実装が提供されている。

ABSTRACT

Deep neural networks are notorious for being sensitive to small well-chosen perturbations, and estimating the regularity of such architectures is of utmost importance for safe and robust practical applications. In this paper, we investigate one of the key characteristics to assess the regularity of such methods: the Lipschitz constant of deep learning architectures. First, we show that, even for two layer neural networks, the exact computation of this quantity is NP-hard and state-of-art methods may significantly overestimate it. Then, we both extend and improve previous estimation methods by providing AutoLip, the first generic algorithm for upper bounding the Lipschitz constant of any automatically differentiable function. We provide a power method algorithm working with automatic differentiation, allowing efficient computations even on large convolutions. Second, for sequential neural networks, we propose an improved algorithm named SeqLip that takes advantage of the linear computation graph to split the computation per pair of consecutive layers. Third we propose heuristics on SeqLip in order to tackle very large networks. Our experiments show that SeqLip can significantly improve on the existing upper bounds. Finally, we provide an implementation of AutoLip in the PyTorch environment that may be used to better estimate the robustness of a given neural network to small perturbations or regularize it using more precise Lipschitz estimations.

研究の動機と目的

• ニューラルネットのロバスト性の指標としてリプシッツ正則性を動機づけ、形式化する。
• 単純なネットワークでも正確なリプシッツ定数の計算がNP-hardであることを証明する。
• 自動微分可能な関数の実用的な上界推定器 AutoLip と SeqLip を開発する。
• リプシッツ境界を計算するための効率的で微分可能グラフと互換性のある実装を提供する。
• 一般的なアーキテクチャ上で手法を評価し、オープンソースの PyTorch 実装を提供する。

提案手法

• ベクトル値関数のリプシッツ定数を定義し、それをヤコビ行列の作用素ノルムと関連付ける（ラデマッハの定理による）。
• ReLU を用いる 2 レイヤー MLP の正確なリプシッツ計算が NP-hard であることを示し、上界手法の動機付けを行う。
• AutoLip の導入: 計算グラフ上の自動微分を用いて L(f) を上界するアルゴリズム（Alg. 1）。
• パワー法ベースの手法を拡張して、線形/畳み込み層のスペクトルノルムを autograd によって計算する（Alg. 2）。
• SeqLip の開発: 層ごとに計算グラフを分割し、SVD に基づく分解を用いることで逐次的ネットワークの界を改善する（式 8）。
• 大規模層に対しては計算量を管理するためのGreedy SeqLipと低ランク近似を提案し、理論的直感と界を示す（定理 3）。
• 一般的な層（活性化、プーリング、正規化）に対する具体的なリプシッツ定数を議論し、実装上の実用的留意点を提供する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークの正確なリプシッツ定数は多項式時間で計算可能か？
• RQ2 ニューラルネットのような自動微分可能な関数について、リプシッツ定数をどう上界できるか？
• RQ3 逐次的ネットワークの既存のリプシッツ上界を、単純な層ごとの積を超えて改善できるか？
• RQ4 標準アーキテクチャ（MLP、CNN、AlexNet）で AutoLip と SeqLip の性能はどうか、また PyTorch 実装は可能か？
• RQ5 SeqLip が AutoLip より実質的な改善を提供する理論的保証は何か？

主な発見

• 正確なリプシッツ計算は、ReLU 活性化を持つ単純な 2 層 MLP でも NP-hard である。
• AutoLip は任意の自動微分可能な関数のリプシッツ定数に対する一般的な上界を提供する。
• SeqLip は計算グラフ構造と層ごとの分解を活用して逐次ネットワークの上界をより厳しくする。
• SeqLip は実際に AutoLip の界を著しく引き締め、MLP や CNN では最大で 8 倍程度の改善をもたらすことがある。
• AlexNet のようなアーキテクチャで用いると、AutoLip は非常に大きな上界を与える一方、SeqLip は substantial reductions を達成できる。
• 小さな摂動に対するロバスト性を推定するオープンソースの PyTorch 実装（lipEstimation）が提供されている。