[論文レビュー] Lipschitz-Margin Training: Scalable Certification of Perturbation Invariance for Deep Neural Networks

Yusuke Tsuzuku, Issei Sato+1 more|arXiv (Cornell University)|Feb 12, 2018

Model Reduction and Neural Networks被引用数 76

ひとこと要約

この論文は Lipschitz-Margin Training (LMT) を導入し、厳密でスケーラブルな Lipschitz ベースの境界を計算し、データ周りの公証済み不変領域を拡大することで、大規模ニューラルネットワークの堅牢性認証を可能にします。

ABSTRACT

High sensitivity of neural networks against malicious perturbations on inputs causes security concerns. To take a steady step towards robust classifiers, we aim to create neural network models provably defended from perturbations. Prior certification work requires strong assumptions on network structures and massive computational costs, and thus the range of their applications was limited. From the relationship between the Lipschitz constants and prediction margins, we present a computationally efficient calculation technique to lower-bound the size of adversarial perturbations that can deceive networks, and that is widely applicable to various complicated networks. Moreover, we propose an efficient training procedure that robustifies networks and significantly improves the provably guarded areas around data points. In experimental evaluations, our method showed its ability to provide a non-trivial guarantee and enhance robustness for even large networks.

研究の動機と目的

• 深いネットワークに対する敵対的摂動に対する認証可能な堅牢性を動機づける。
• 複雑なアーキテクチャ全体でネットワークを騙す摂動サイズを下限するスケーラブルな方法を開発する。
• データ点の周囲に公証可能に防護された領域を拡大する訓練手順を提案する。
• 多様なネットワーク構造に対して実用的な Lipschitz 定数の境界と効率的な認証ワークフローを提供する。

提案手法

• 予測マージンと Lipschitz 定数を関連付けて敵対的摂動を界限する（Prop. 1 および Prop. 2）。
• 大規模・複雑なアーキテクチャに対して、ネットワークの Lipschitz 定数の上界を統一的で微分可能な方法で計算する。
• 推定 Lipschitz 境界に比例する係数でロジットを修正して守られた領域を拡大する Lipschitz-margin training (LMT) を Eq. 4 で開発する。
• 訓練時に線形成分の作用素ノルム（スペクトルノルム）を効率的・微分可能に推定する手順を提供する（Algorithm 2）。
• 合成、加算、連結ルールを用いてネットワーク成分を通じて Lipschitz 境界を集約し、グローバルな境界を得る（定理2およびコロラリー）。
• 訓練手順はロバストネスを改善し、バッチサイズの増加と同等のコストがかかる。

実験結果

リサーチクエスチョン

• RQ1 大規模で現代的なネットワークに対して Lipschitz 定数を効率的に上界できるか、摂動不変性を認証できるか。
• RQ2 Lipschitz 境界に関連するマージンを強制する訓練手順は、清浄データの精度を損なうことなく公証可能に守られた領域を拡大できるか。
• RQ3 提案された境界は、厳密さと実用性の点で従来の認証法と比較してどうか。
• RQ4 大規模ネットワーク（例：広い Residual Network）にスケールし、意味のある堅牢性認証を依然として提供できるか。

主な発見

• 著者らは、主要なネットワーク成分（畳み込み、バッチ正規化、プーリング、活性化）に対してより厳密で統一的な Lipschitz 境界を導出し、訓練時の近似を微分可能形式で提供する。
• Lipschitz-margin training (LMT) は、Lipschitz 境界と摂動半径 c の関数よりも大きいマージンを課すことにより、データ点の周囲の公称的に守られた領域を拡大する。
• 実験では、SVHN 上の小規模ネットワークと大規模な 16 層の Wide Residual Network の両方で、基準的な正則化法と比較して認証の厳密さと堅牢性が向上することを示す。
• LMT は l2 ノルムで非自明な認証付き摂動領域を生み出し、同等のアーキテクチャに対して従来の計算的に安価な方法よりも多くの場合、守られた領域を拡大する。
• C&W 型攻撃の下で、LMT 訓練済みモデルはウェイトデイケイ、Parseval ネットワーク、スペクトルノルム正則化よりも摂動下での精度を高く維持し、特に大きな摂動半径で堅牢性が顕著。