[論文レビュー] Divide, Denoise, and Defend against Adversarial Attacks

Seyed-Mohsen Moosavi-Dezfooli, Ashish Shrivastava+1 more|arXiv (Cornell University)|Feb 19, 2018

Adversarial Robustness in Machine Learning参考文献 51被引用数 27

ひとこと要約

本稿では、入力画像を重複するパッチに分割し、学習済みのクリーンパッチ辞書を用いた非微分可能なマッチングプルーリングアルゴリズムで各パッチをノイズ除去し、再構成する非微分可能で攻撃に依存しない防御手法D3を提案する。白색ボックスFGSM攻撃下でImageNet上で34.4%のロバスト精度を達成し、先行研究が報告した0%と比べ顕著に優れており、敵対的ファインチューニングを必要とせず、最先端のロバスト性を示している。

ABSTRACT

Deep neural networks, although shown to be a successful class of machine learning algorithms, are known to be extremely unstable to adversarial perturbations. Improving the robustness of neural networks against these attacks is important, especially for security-critical applications. To defend against such attacks, we propose dividing the input image into multiple patches, denoising each patch independently, and reconstructing the image, without losing significant image content. We call our method D3. This proposed defense mechanism is non-differentiable which makes it non-trivial for an adversary to apply gradient-based attacks. Moreover, we do not fine-tune the network with adversarial examples, making it more robust against unknown attacks. We present an analysis of the tradeoff between accuracy and robustness against adversarial attacks. We evaluate our method under black-box, grey-box, and white-box settings. On the ImageNet dataset, our method outperforms the state-of-the-art by 19.7% under grey-box setting, and performs comparably under black-box setting. For the white-box setting, the proposed method achieves 34.4% accuracy compared to the 0% reported in the recent works.

研究の動機と目的

• セキュリティが重要な応用分野における深層ニューラルネットワークの敵対的摂動に対する脆弱性を解消すること。
• 敵対的ファインチューニングを必要とせず、未知の勾配ベース攻撃に対して耐性を持つ防御機構を開発すること。
• 次元削減と非微分可能なノイズ除去を通じて、クリーン画像の精度を維持しつつロバスト性を向上させること。
• 変換を非微分可能にすることで、勾配ベース攻撃に対して本質的に耐性を持つ防御を設計すること。
• ブラックボックス、 GRAYボックス、ホワイトボックス攻撃設定下でのクリーン精度とロバスト性のトレードオフを分析すること。

提案手法

• 効果的次元を低下させ、攻撃者の探索空間を制限するために、入力画像を重複するパッチに分割する。
• クリーン画像パッチの辞書を用いたマッチングプルーリング（MP）の変種を用いて、各パッチを独立にノイズ除去する。この辞書は、新規のパッチ選択アルゴリズムにより選択された。
• 原子同士の最小角距離が大きく、多様で顕著なパッチを含むように辞書を構築することで、ロバスト性を強化する。
• ノイズ除去プロセスは非微分可能であり、FGSM や BPDA などの勾配ベースのバックプロパゲーション攻撃を防止する。
• 白色ボックス設定下でのロバスト性をさらに高めるために、辞書選択プロセスにランダム化を適用する。
• 再構成ステップでは、ノイズ除去済みパッチを組み合わせて最終的な画像を生成し、意味的コンテンツを保持しながら敵対的ノイズを除去する。

実験結果

リサーチクエスチョン

• RQ1 非微分可能でパッチベースのノイズ除去防御は、ImageNetのような大規模データセットで最先端のロバスト性を達成できるか？
• RQ2 パッチサイズ、スパarsity、および辞書の特性に応じて、クリーン精度とロバスト性のトレードオフはどのように変化するか？
• RQ3 攻撃者がネットワークと防御機構を把握している白色ボックス攻撃下で、防御はどの程度耐性を示せるか？
• RQ4 攻撃者が防御機構にアクセスできない状況下でも、ブラックボックスおよび GRAYボックス設定で防御は有効に機能するか？
• RQ5 クリーン精度を劣化させることなく、ランダム化によって防御をさらに強化できるか？

主な発見

• ホワイトボックスFGSM攻撃下で、D3はImageNetで34.4%のトップ1精度を達成した。これは先行研究が報告した0%と比べ顕著な向上を示している。
• GRAYボックス設定下で、D3はImageNetでSOTA防御より19.7%高いロバスト精度を達成した。
• ランダム化を適用したことで、BPDA攻撃下でのロバスト精度が13.0%から34.4%に向上し、勾配ベース攻撃に対する耐性が強化された。
• 大きなパッチサイズ（最大32×32）は、攻撃者の有効な探索空間を小さくすることでロバスト性を向上させるが、再構成品質はわずかに低下する。
• 簡単なタスク（例：50個のImageNetクラス）では、D3は高いクリーン精度（91.7%）を維持し、ホワイトボックス攻撃下で70.9%のロバスト精度を達成した。
• CIFAR-10では、D3は87%のクリーン精度とFGSM攻撃下で80%のロバスト精度を達成し、FGSMに特化した防御を除き、大多数の既存防御を上回った。