[論文レビュー] Transferable Universal Adversarial Perturbations Using Generative Models

Atiye Sadat Hashemi, Andreas Bär+2 more|arXiv (Cornell University)|Oct 28, 2020

Adversarial Robustness in Machine Learning参考文献 53被引用数 13

ひとこと要約

本論文では、ソースモデルの第1層特徴量にのみ敵対的損失を最適化するように訓練された生成モデルを用いて、高転送性を示すユニバーサル敵対的摂動（UAP）を生成する新規な手法を提案する。第1層の活性化シフトに注目し、交差エントロピー損失と組み合わせることで、ソースモデル上で93.36%の新たな最先端の誤分類率を達成し、多様なターゲットモデルにおける平均転送性は81.53%に達する。これは従来手法を著しく上回る結果である。

ABSTRACT

Deep neural networks tend to be vulnerable to adversarial perturbations, which by adding to a natural image can fool a respective model with high confidence. Recently, the existence of image-agnostic perturbations, also known as universal adversarial perturbations (UAPs), were discovered. However, existing UAPs still lack a sufficiently high fooling rate, when being applied to an unknown target model. In this paper, we propose a novel deep learning technique for generating more transferable UAPs. We utilize a perturbation generator and some given pretrained networks so-called source models to generate UAPs using the ImageNet dataset. Due to the similar feature representation of various model architectures in the first layer, we propose a loss formulation that focuses on the adversarial energy only in the respective first layer of the source models. This supports the transferability of our generated UAPs to any other target model. We further empirically analyze our generated UAPs and demonstrate that these perturbations generalize very well towards different target models. Surpassing the current state of the art in both, fooling rate and model-transferability, we can show the superiority of our proposed approach. Using our generated non-targeted UAPs, we obtain an average fooling rate of 93.36% on the source models (state of the art: 82.16%). Generating our UAPs on the deep ResNet-152, we obtain about a 12% absolute fooling rate advantage vs. cutting-edge methods on VGG-16 and VGG-19 target models.

研究の動機と目的

• 多様な深層ニューラルネットワークアーキテクチャにわたるユニバーサル敵対的摂動（UAP）の転送性を向上させること。
• 既存のUAPには、未知のターゲットモデルにうまく一般化できないという限界があることに対処すること。
• 異なるアーキテクチャ間で共通する第1層特徴マップの構造的類似性を活用して、摂動の一般化を向上させること。
• 早期層の敵対的エネルギーに注目した損失関数を設計し、ロバスト性と転送性を向上させること。
• ImageNetデータセットにおいて、誤分類率とクロスモデル転送性の両面で優れた性能を示すこと。

提案手法

• ソースモデル（例：ResNet-152）を用いて、誤分類を最大化するUAPを生成する生成モデルを訓練する。
• 損失関数は、第1畳み込み層に焦点を当てた高速特徴誤分類損失と交差エントロピー損失を組み合わせ、摂動生成をガイドする。
• 異なるアーキテクチャ間で観察される第1層特徴マップの構造的類似性（SSIM）を活用し、共通する脆弱性パターンの存在を示唆する。
• 摂動はL∞ノルム（ε=10）で制約され、ステップサイズα=0.7の反復的勾配更新により最適化される。
• 生成器はバックプロパゲーションを用いてエンドツーエンドで訓練され、ソースモデルにおける敵対的損失を最大化するが、画像品質を保持する。
• 転送性は、同じUAPを未学習のターゲットモデルに適用し、複数のアーキテクチャで誤分類率を測定することで評価される。

実験結果

リサーチクエスチョン

• RQ1 多様な深層ニューラルネットワークアーキテクチャ間の第1層特徴表現を活用することで、UAPの転送性を向上させられるか？
• RQ2 ソースモデルの第1層に敵対的損失を集中させることで、より一般化可能なUAPが得られるか？
• RQ3 誤分類率とクロスモデル転送性の観点から、本手法は最先端のUAP生成技術と比較してどのように優れているか？
• RQ4 ソースモデルのアーキテクチャ選択（例：より深いネットワーク）が、他のモデルへの転送性を最大化するために重要であるか？
• RQ5 再訓練なしに、1つのUAPが複数のターゲットモデルで高い誤分類率を達成できるか？

主な発見

• 提案手法は、ソースモデル上で93.36%という新たな最先端の誤分類率を達成し、以前の最先端（82.16%）を上回った。
• ResNet-152で訓練したUAPは、他のすべてのターゲットモデルで平均81.53%の誤分類率を達成し、強い転送性を示した。
• VGG-16およびVGG-19をターゲットモデルとして用いた場合、従来の最先端と比較して誤分類率が12%の絶対的向上を達成した。
• ResNet-152で生成されたUAPは、VGG-16で86.19%、VGG-19で82.36%の誤分類率を達成し、従来手法を著しく上回った。
• 本手法は、ソースモデルがより深い（例：ResNet-152）場合でも優れた転送性を示し、より深いモデルからより一般化可能なUAPが得られることを示唆している。
• 実験的分析により、異なるアーキテクチャ間で第1層特徴マップが高い構造的類似性（SSIM）を示すことが確認され、早期層に注目する設計選択の妥当性が裏付けられた。