[論文レビュー] Parametric Noise Injection: Trainable Randomness to Improve Deep Neural Network Robustness against Adversarial Attack
本稿では、訓練可能なランダム性を備えたパラメトリックノイズインジェクション（PNI）を提案する。PNIは、敵対的訓練中に層ごとのガウスノイズを学習可能なスケーリングパラメータで注入することで、深層ニューラルネットワークのロバストネスを向上させる。PNIは最先端の性能を達成し、ResNet-20においてPGD攻撃下で、vanilla敵対的訓練に比べてクリーンデータの精度を1.1%向上させ、摂動を加えたデータの精度を6.8%向上させた。
Recent development in the field of Deep Learning have exposed the underlying vulnerability of Deep Neural Network (DNN) against adversarial examples. In image classification, an adversarial example is a carefully modified image that is visually imperceptible to the original image but can cause DNN model to misclassify it. Training the network with Gaussian noise is an effective technique to perform model regularization, thus improving model robustness against input variation. Inspired by this classical method, we explore to utilize the regularization characteristic of noise injection to improve DNN's robustness against adversarial attack. In this work, we propose Parametric-Noise-Injection (PNI) which involves trainable Gaussian noise injection at each layer on either activation or weights through solving the min-max optimization problem, embedded with adversarial training. These parameters are trained explicitly to achieve improved robustness. To the best of our knowledge, this is the first work that uses trainable noise injection to improve network robustness against adversarial attacks, rather than manually configuring the injected noise level through cross-validation. The extensive results show that our proposed PNI technique effectively improves the robustness against a variety of powerful white-box and black-box attacks such as PGD, C & W, FGSM, transferable attack and ZOO attack. Last but not the least, PNI method improves both clean- and perturbed-data accuracy in comparison to the state-of-the-art defense methods, which outperforms current unbroken PGD defense by 1.1 % and 6.8 % on clean test data and perturbed test data respectively using Resnet-20 architecture.
研究の動機と目的
- 人間が認識できないほど微小な摂動を加えられた入力が誤分類を引き起こすという、深層ニューラルネットワークの脆弱性に対処すること。
- PGDやC&Wのような強力な攻撃に対して失敗するか、固定されたノイズレベルに依存する既存の防御手法の限界を克服すること。
- クリーンデータの精度を損なわせることなく、一般化可能で訓練可能な正則化手法を構築すること。
- 手動でノイズを設定する手法を上回る訓練可能なノイズインジェクションの有効性を示し、勾配の遮断（gradient obfuscation）の罠を回避できることを実証すること。
- トランスファーブルーやブラックボックス攻撃を含む多様な敵対的攻撃に対して効果的な防御手法を確立すること。
提案手法
- 訓練中に活性化層または重み層に適用する、訓練可能なノイズインジェクション機構としてのパラメトリックノイズインジェクション（PNI）を導入する。
- PNIをミニマックス敵対的訓練フレームワークに統合し、ノイズスケーリングパラメータをエンドツーエンドで最適化する。
- 各層ごとに学習可能なノイズスケーリング係数を用いて、ノイズの強度を動的に調整し、手動によるハイパーパramータチューニングを置き換える。
- 層固有の訓練可能なパラメータを用いて、ネットワークの活性化または重みにガウスノイズをインジェクションし、適応的ロバストネス学習を可能にする。
- PGD、FGSM、C&W攻撃によって生成された敵対的サンプルを用いてモデルを訓練し、前方伝播および逆方向伝播の両方でノイズインジェクションを適用する。
- 敵対的摂動下で、ネットワーク重みとノイズパラメータを同時に最適化することで、ロバストネスを確保する。
実験結果
リサーチクエスチョン
- RQ1訓練可能なノイズインジェクションは、多様な白ボックスおよびブラックボックス敵対的攻撃に対して深層ニューラルネットワークのロバストネスを向上させることができるか？
- RQ2エンドツーエンド最適化によって各層ごとにノイズ強度を学習することは、固定された手動チューニングされたノイズレベルを上回るか？
- RQ3PNIは、多くの先行防御手法がクリーンデータ精度を犠牲にしているのとは異なり、クリーンデータ精度と摂動を加えたデータ精度の両方を同時に向上させることができるか？
- RQ4PNIのロバストネス向上は、勾配の遮断によるものか、本物の敵対的ロバストネスによるものか？
- RQ5PGD攻撃のステップ数を増やしたり、摂動の上限を大きくしたりするなど、攻撃強度が上昇した場合、PNIの性能はいかなるものか？
主な発見
- ResNet-20において、PNIはvanilla敵対的訓練に比べてクリーンデータ精度を1.1%向上させ、一般化性能の向上を示した。
- PGD白ボックス攻撃下では、PNIは最先端の未破壊PGD防御に比べて、摂動を加えたデータの精度を6.8%向上させた。
- PNIは、FGSM、C&W、ZOO、およびトランスファブル攻撃を含む多様な攻撃に対して、複数のアーキテクチャで強力なロバストネスを維持した。
- PNIは[23]のすべての勾配遮断チェックに合格しており、ロバストネスが勾配マスキングによるものではないことを示している。
- PGD攻撃のステップ数を100まで増やしても、PNIはvanilla敵対的訓練に比べて優れた性能を維持し、確実に確立された勾配のランダム性を超える耐性を示した。
- 表5に示すように、PNIは、重みレベルのノイズインジェクションがブラックボックス攻撃のシナリオで活性化レベルのノイズインジェクションよりも効果的であることを示した。
より良い研究を、今すぐ始めましょう
論文の読解から最終レビューまで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。