[論文レビュー] Efficient and Accurate Estimation of Lipschitz Constants for Deep Neural Networks

Mahyar Fazlyab, Alexander Robey+3 more|arXiv (Cornell University)|Jun 11, 2019

Adversarial Robustness in Machine Learning被引用数 108

ひとこと要約

LipSDPを提示する。活性化を2次制約としてモデル化することにより、深層ニューラルネットワークの厳密なグローバルリプシッツ境界を生み出す凸的半正定値計画フレームワークで、スケーラブルなバリアントと分散実装を提供する。

ABSTRACT

Tight estimation of the Lipschitz constant for deep neural networks (DNNs) is useful in many applications ranging from robustness certification of classifiers to stability analysis of closed-loop systems with reinforcement learning controllers. Existing methods in the literature for estimating the Lipschitz constant suffer from either lack of accuracy or poor scalability. In this paper, we present a convex optimization framework to compute guaranteed upper bounds on the Lipschitz constant of DNNs both accurately and efficiently. Our main idea is to interpret activation functions as gradients of convex potential functions. Hence, they satisfy certain properties that can be described by quadratic constraints. This particular description allows us to pose the Lipschitz constant estimation problem as a semidefinite program (SDP). The resulting SDP can be adapted to increase either the estimation accuracy (by capturing the interaction between activation functions of different layers) or scalability (by decomposition and parallel implementation). We illustrate the utility of our approach with a variety of experiments on randomly generated networks and on classifiers trained on the MNIST and Iris datasets. In particular, we experimentally demonstrate that our Lipschitz bounds are the most accurate compared to those in the literature. We also study the impact of adversarial training methods on the Lipschitz bounds of the resulting classifiers and show that our bounds can be used to efficiently provide robustness guarantees.

研究の動機と目的

• 深層ニューラルネットワークのグローバルリプシッツ定数の厳密かつスケーラブルな推定を動機づける。
• リプシッツ定数に対して保証された上界を提供する凸最適化フレームワークを開発する。
• 活性化関数の性質を2次制約として捉え、SDPの定式化を可能にする。
• 推定精度と計算規模の間でトレードオフを行うバリアントを提供する。
• 学習強化システムにおける頑健性認証と安定性分析への適用可能性を示す。

提案手法

• 活性化関数を凸ポテンシャルの勾配と解釈して2次制約を導出する。
• リプシッツ推定をLipSDPと呼ばれる半正定値プログラム（SDP）として定式化する。
• 精度とスケーラビリティを制御する決定変数を備えた単一層および多層の LipSDP 形式を導入する。
• 大規模ネットワークに対する階層的緩和（Neuron、Layer）と並列化戦略を提案する。
• スケーラビリティを維持するためにネットワークをサブネットワークに分割して分散実装を提供する。
• 固定点を使用する場合に、繰り返し現れる活性化関数を活用して境界をより厳密にする改良を提案する。

実験結果

リサーチクエスチョン

• RQ1 凸SDPフレームワークは深層ニューラルネットワークのグローバルリプシッツ定数に対して保証された上界をもたらすことができるか。
• RQ2 活性化の非線形性を2次制約としてどのように符号化して、計算可能なリプシッツ推定を実現できるか。
• RQ3 LipSDP バリアントの精度とスケーラビリティのトレードオフは何か、実データセットでの性能はどうか。
• RQ4 頑健な訓練は分類器のリプシッツ境界と頑健性保証にどのように影響するか。
• RQ5 本フレームワークは多層ネットワークやユークリッドノルム以外のノルムへ拡張可能か。

主な発見

• LipSDPは、検証したネットワーク全体で既存手法よりはるかに厳密なリプシッツ境界を提供する。
• MNIST分類器ネットワークでは、LipSDPの境界は真のリプシッツ定数にほぼ一致し、同等の手法を上回る。
• 頑健な訓練手法（LP-Train、PGD-Train）はリプシッツ境界を縮小し、頑健性の向上を示唆する。
• 分散/サブネットワークアプローチは、大規模ネットワークに対して境界の品質を犠牲にすることなくスケーラビリティを著しく改善する。
• 経験的結果は、境界を用いて最小敵対摂動の非自明な下界を導出できることを示している。