[論文レビュー] DeepCloak: Masking Deep Neural Network Models for Robustness Against Adversarial Samples

Ji Gao, Beilun Wang+3 more|arXiv (Cornell University)|Feb 22, 2017

Adversarial Robustness in Machine Learning参考文献 12被引用数 72

ひとこと要約

DeepCloak は DNN に二値マスク層を追加して不要な特徴を除去し、通常の精度に最小の影響で敵対的脆弱性を低減します。

ABSTRACT

Recent studies have shown that deep neural networks (DNN) are vulnerable to adversarial samples: maliciously-perturbed samples crafted to yield incorrect model outputs. Such attacks can severely undermine DNN systems, particularly in security-sensitive settings. It was observed that an adversary could easily generate adversarial samples by making a small perturbation on irrelevant feature dimensions that are unnecessary for the current classification task. To overcome this problem, we introduce a defensive mechanism called DeepCloak. By identifying and removing unnecessary features in a DNN model, DeepCloak limits the capacity an attacker can use generating adversarial samples and therefore increase the robustness against such inputs. Comparing with other defensive approaches, DeepCloak is easy to implement and computationally efficient. Experimental results show that DeepCloak can increase the performance of state-of-the-art DNN models against adversarial samples.

研究の動機と目的

• DNNにおける敵対的サンプルに対する頑健性を、不要な特徴への依存を減らすことにより動機づける。
• 再訓練を必要とせず、既存の DNN に適用可能な軽量な防御を提案する。
• 敵対的摂動に最も敏感な特徴を識別・除去して攻撃ベクトルを制限する。

提案手法

• 正常入力と敵対的入力の活性化を比較して特徴感度を計算する。
• 分類器の前に重み 0 または 1 のマスク層を挿入して、上位 m% の最も感度の高い特徴を除去する。
• マスクは敵対的ペア間の特徴ごとの変化を蓄積して学習させる（v = sum_i |g(x_i) - g(x'_i)|）。
• 感度ベクトルの上位 m 個のエントリを 0 に設定し、残りを 1 にしてから DNN にマスクを挿入する。
• 再訓練は不要。マスクの学習には効率のために訓練データの一部を用いることができる。
• 様々なアーキテクチャに適用して汎用性を示す。

実験結果

リサーチクエスチョン

• RQ1 マスキングによって不要な特徴を削除しても、再訓練なしで DNN の頑健性を改善できるか？
• RQ2 意味のある敵対的頑健性を達成するには、特徴の何割をマスクする必要があるか？
• RQ3 クリーンデータ（非敵対的データ）に対する精度は、アーキテクチャ間で特徴マスキングがどのように影響するか？

主な発見

• 少数の特徴をマスクすると敵対的精度に顕著な改善をもたらす。ResNet の場合 256 特徴ノードで、1% マスキングは敵対的精度を 0.3923、相対的増加 32.49%。
• より多くの特徴を除去すると敵対的頑健性が徐々に高まるが、クリーン精度が低下する可能性があり、トレードオフは substantial な敵対的利益のために小さなパーセンテージのマスキングを選ぶべき。
• CIFAR-10 の CNN, VGG, Wide ResNet において最大 10% の特徴をマスクすると、クリーン精度の低下は相対的に控えめで、敵対的精度が段階的に高まる。
• 多くの特徴は敵対的サンプル作成には重要でないことを示しており、選択的特徴削除が有効な防御であることを支持する。
• 特徴の 1% をマスクするだけで頑健性が大きく向上し、クリーンデータの高い性能を維持することが多い。