[論文レビュー] DropAttack: A Masked Weight Adversarial Training Method to Improve Generalization of Neural Networks

Shiwen Ni, Jiawen Li+1 more|arXiv (Cornell University)|Aug 29, 2021

Adversarial Robustness in Machine Learning参考文献 25被引用数 7

ひとこと要約

DropAttackは、訓練中に入力特徴量およびモデル重みのランダムにマスクされたサブセットに勾配に基づく adversarial パーティクルを適用することで、ニューラルネットワークの一般化性能を向上させる、新しいマスク付き重み adversarial 訓練法である。この手法は、5つのNLPおよびCVベンチマークで最先端の性能を達成し、過学習を低減し、勾配正則化の暗黙的適用によってより平坦な損失ランドスケープを促進する。

ABSTRACT

Adversarial training has been proven to be a powerful regularization method to improve the generalization of models. However, current adversarial training methods only attack the original input sample or the embedding vectors, and their attacks lack coverage and diversity. To further enhance the breadth and depth of attack, we propose a novel masked weight adversarial training method called DropAttack, which enhances generalization of model by adding intentionally worst-case adversarial perturbations to both the input and hidden layers in different dimensions and minimize the adversarial risks generated by each layer. DropAttack is a general technique and can be adopt to a wide variety of neural networks with different architectures. To validate the effectiveness of the proposed method, we used five public datasets in the fields of natural language processing (NLP) and computer vision (CV) for experimental evaluating. We compare the proposed method with other adversarial training methods and regularization methods, and our method achieves state-of-the-art on all datasets. In addition, Dropattack can achieve the same performance when it use only a half training data compared to other standard training method. Theoretical analysis reveals that DropAttack can perform gradient regularization at random on some of the input and wight parameters of the model. Further visualization experiments show that DropAttack can push the minimum risk of the model to a lower and flatter loss landscapes. Our source code is publicly available on https://github.com/nishiwen1214/DropAttack.

研究の動機と目的

• 入力または埋め込みベクトルのみを攻撃対象とする従来の adversarial 訓練手法のカバー範囲と多様性の制限を解消すること。
• 入力だけでなくモデル重みに対しても adversarial 攻撃を拡張することで、モデルの一般化性能を向上させること。
• 多様なニューラルネットワークアーキテクチャに効果的な汎用正則化手法を開発すること。
• マスク付き adversarial 訓練が、より平坦で低損失の極小値をもたらすことができることを示すこと。

提案手法

• DropAttackは、各訓練イテレーションにおいて、入力特徴量およびモデル重みパラメータのランダムにマスクされたサブセットに adversarial パーティクルを適用する。
• 勾配に基づく攻撃戦略を用い、損失関数の入力および重みに関する勾配の符号を用いてパラメータの摂動を計算する。
• 入力および重みテンソルの要素のランダムな割合を選択して adversarial パーティクルを適用するマスキング機構を導入し、攻撃の多様性を向上させる。
• 標準損失と入力および重みの摂動からの adversarial リスクの合計を最小化する最適化目的関数を採用し、勾配の正則化を効果的に行う。
• マスクされた入力および重み成分における大きな勾配をペナルティとして課すことで、勾配正則化を暗黙的に適用し、より平坦な極小値を促進する。
• さまざまなアーキテクチャと互換性があり、標準的な訓練パイプラインに最小限の変更で統合可能である。

実験結果

リサーチクエスチョン

• RQ1 入力とモデル重みの両方を攻撃対象とする adversarial 訓練は、標準的な入力のみ攻撃の adversarial 訓練を上回る一般化性能を達成できるか？
• RQ2 入力および重みの次元にわたるマスク付き adversarial パーティクル摂動は、攻撃の多様性とカバー範囲を向上させるか？
• RQ3 DropAttackは、少ないデータでも多様なNLPおよびCVベンチマークで最先端の性能を達成できるか？
• RQ4 DropAttackは、損失ランドスケープの幾何構造、特に平坦さと極小値の深さにどのような影響を与えるか？
• RQ5 DropAttackのモデル勾配に対する正則化効果の理論的根拠は何か？

主な発見

• DropAttackは、IMDB、AG’s News、MNIST、CIFAR-10、SNLIの5つの公開データセットすべてで最先端の性能を達成した。
• 訓練データの半分しか使用しない場合でも、標準的な訓練と同等の性能を達成しており、優れたサンプル効率を示している。
• DropAttackは過学習を低減し、特にテキスト分類などのNLPタスクにおける一般化性能を向上させた。
• 可視化結果から、DropAttackは損失ランドスケープにおいてより平坦で低損失の極小値をもたらすことが示された。
• 理論的分析により、DropAttackがマスクされた入力および重み成分における大きな勾配をペナルティとして課すことで、勾配正則化を暗黙的に適用していることが確認された。
• アーキテクチャの変更や顕著なハイパーパrameterチューニングなしに、ロバストネスと一般化性能の向上を示した。