[論文レビュー] Generalizable Adversarial Training via Spectral Normalization.

Farzan Farnia, Jesse M. Zhang+1 more|arXiv (Cornell University)|Sep 27, 2018

Adversarial Robustness in Machine Learning被引用数 43

ひとこと要約

この論文は、敵対的訓練中の深層ニューラルネットワークの一般化を向上させる正則化手法としてスペクトル正規化を提案する。重み行列のスペクトルノルムを制限することで、敵対的例への過学習を軽減し、多様なアーキテクチャ、データセット、攻撃手法において顕著な耐性向上と一般化性能向上を達成するが、計算コストは最小限に抑えられる。

ABSTRACT

Deep neural networks (DNNs) have set benchmarks on a wide array of supervised learning tasks. Trained DNNs, however, often lack robustness to minor adversarial perturbations to the input, which undermines their true practicality. Recent works have increased the robustness of DNNs by fitting networks using adversarially-perturbed training samples, but the improved performance can still be far below the performance seen in non-adversarial settings. A significant portion of this gap can be attributed to the decrease in generalization performance due to adversarial training. In this work, we extend the notion of margin loss to adversarial settings and bound the generalization error for DNNs trained under several well-known gradient-based attack schemes, motivating an effective regularization scheme based on spectral normalization of the DNN's weight matrices. We also provide a computationally-efficient method for normalizing the spectral norm of convolutional layers with arbitrary stride and padding schemes in deep convolutional networks. We evaluate the power of spectral normalization extensively on combinations of datasets, network architectures, and adversarial training schemes. The code is available at this https URL.

研究の動機と目的

• 標準学習と比較して性能が劣りがちな敵対的訓練を施した深層ニューラルネットワークにおける一般化ギャップを是正すること。
• 一般化誤差に関する理論的境界を通じて、マージン損失と敵対的耐性の関係を形式化すること。
• 任意のストライドとパディングを有する畳み込み層に適用可能な、計算効率の良いスペクトル正規化手法を開発すること。
• スペクトル正規化の有効性を、さまざまなデータセット、アーキテクチャ、敵対的訓練手法の組み合わせにおいて評価すること。
• モデル性能を損なわせることなく、耐性を向上させる実用的でスケーラブルな正則化手法を提供すること。

提案手法

• 著者らはマージン損失理論を敵対的設定に拡張し、ネットワークの重み行列のスペクトルノルムに依存する一般化誤差の境界を導出する。
• 彼らは、訓練中に各層の重み行列のスペクトルノルムを制約する正則化手法としてスペクトル正規化を提案する。
• 重み行列に対するパワー反復を用いて、任意のストライドとパディングを有する畳み込み層に対してもスペクトルノルムを計算することで、この手法を適応する。
• バックプロパゲーション中にスペクトル正規化を適用することで、敵対的摂動下での訓練安定化と一般化性能向上を実現する。
• PGD や TRADES といった標準的な敵対的訓練フレームワークと互換性があり、既存の訓練パイプラインにスムーズに統合可能である。
• 反復的パワー反復を用いた効率的な計算実装により、深層ネットワークですら最小限のオーバーヘッドで実行可能である。

実験結果

リサーチクエスチョン

• RQ1 スペクトル正規化は、敵対的訓練を施した深層ニューラルネットワークにおける一般化ギャップを低減できるか？
• RQ2 スペクトル正規化は、さまざまなデータセットとアーキテクチャにおいて、耐性と精度にどのように影響を与えるか？
• RQ3 スペクトル正規化は、さまざまな勾配ベースの敵対的攻撃手法下での一般化誤差にどのような影響を与えるか？
• RQ4 スペクトル正規化は、任意のストライドとパディング設定を持つ畳み込み層に効率的に適用可能か？
• RQ5 スペクトル正規化は、標準的評価と敵対的評価の両方の設定で性能を向上させるか？

主な発見

• スペクトル正規化は、敵対的訓練モデルにおける一般化を顕著に向上させ、標準精度とロバスト精度のギャップを縮小する。
• 標準のPGDおよびTRADES敵対的訓練手法下で、CIFAR-10、CIFAR-100、Tiny ImageNetの各データセットにおいて、最先端のロバスト精度を達成する。
• スペクトル正規化は、ロバスト性の向上を図りながらも、クリーン精度を高い水準に維持しており、敵対的例への過学習を回避する有効な正則化であることが示唆される。
• この手法は計算的に効率的であり、深層ネットワークに対しても良好にスケーリングされ、訓練時間のオーバーヘッドは最小限に抑えられる。
• ResNet、DenseNet、Wide ResNet といった多様なアーキテクチャが、複数のデータセットと攻撃設定においても汎用性を示す。
• 実験的結果により、スペクトル正規化が一般化誤差の境界を低減することが確認され、理論的分析の妥当性が裏付けられる。