[論文レビュー] Distorting Neural Representations to Generate Highly Transferable Adversarial Examples.

Muzammal Naseer, Salman Khan+2 more|arXiv (Cornell University)|Nov 22, 2018

Adversarial Robustness in Machine Learning被引用数 7

ひとこと要約

本論文は、タスク固有の損失関数の最適化に代えて、深層ニューラルネットワークの特徴を歪ませることで、非常に転送性の高い adversarial examples を生成する新しい手法を提案する。特徴空間における摂動を最大化することで、分類、オブジェクト検出、セグメンテーションを含む多様なアーキテクチャおよびタスク間で強力な転送性を達成する。

ABSTRACT

neural networks (DNN) can be easily fooled by adding human imperceptible perturbations to the images. These perturbed images are known as the `adversarial examples' that pose a serious threat to security and safety critical systems. A litmus test for the strength of adversarial examples is their transferability across different DNN models in a black box setting (i.i. when target model's architecture and parameters are not known to attacker). Current attack algorithms that seek to enhance adversarial transferability work on the decision level i.e. generate perturbations that alter the network decisions. This leads to two key limitations: (a) An attack is dependent on the task-specific loss function (e.g. softmax cross-entropy for object recognition) and therefore does not generalize beyond its original task. (b) The adversarial examples are specific to the network architecture and demonstrate poor transferability to other network architectures. We propose a novel approach to create adversarial examples that can broadly fool different networks on multiple tasks. Our approach is based on the following intuition: Deep features are highly generalizable and show excellent performance across different tasks, therefore an ideal attack must create maximum distortions in the feature space to realize highly transferable examples. Specifically, for an input image, we calculate perturbations that push its feature representations furthest away from the original image features. We report extensive experiments to show how adversarial examples generalize across multiple networks across classification, object detection and segmentation tasks.

研究の動機と目的

• タスク固有の損失関数に依存する既存の adversarial 攻撃の転送性が限定的である問題に対処すること。
• adversarial examples が特定のネットワークアーキテクチャや損失関数に依存するのを克服すること。
• さまざまなディープラーニングモデルやタスクに一般化可能なユニバーサルな攻撃戦略を開発すること。
• 意思決定境界ではなく、特徴空間における歪みに注目することで、adversarial 転送性を向上させること。

提案手法

• 本手法は、元の画像の特徴表現と摂動を加えた画像の特徴との間の距離を、深層特徴空間で最大化する摂動を計算する。
• 分類損失の最適化ではなく、ネットワークの内部特徴活性を直接操作することで攻撃を実行する。
• 摂動が表現空間に最大限の歪みを引き起こすように、特徴空間における最適化目的関数を用いる。
• エンドツーエンドで攻撃を適用し、アーキテクチャやタスクの変化に対して頑健な adversarial examples を生成する。
• 本手法は、画像分類、オブジェクト検出、セマンティックセグメンテーションを含む複数のモデルとタスクで評価される。
• ターゲットモデルのアーキテクチャやパラメータに依存せず、効果的なブラックボックス攻撃が可能である。

実験結果

リサーチクエスチョン

• RQ1 特徴空間における歪みに注目することで、異なる深層ニューラルネットワークアーキテクチャ間での adversarial examples の転送性を向上させられるか？
• RQ2 意思決定レベルの損失関数の最適化よりも、特徴空間における摂動の最適化が、より良い転送性をもたらすか？
• RQ3 1つの adversarial example が、分類、検出、セグメンテーションといった異なるタスクで学習されたモデルをどれほど効果的に欺けるか？
• RQ4 本手法は、モデルやタスクをまたいで、既存の攻撃手法と比較してどれほど優れた転送性を示すか？

主な発見

• 本手法は、既存の攻撃手法と比較して、多様な深層ニューラルネットワークアーキテクチャ間で顕著に高い転送性を達成する。
• 特徴空間の歪みを用いて生成された adversarial examples は、未学習のアーキテクチャのモデルを欺く点で意思決定レベルの攻撃を上回る。
• 本手法は、画像分類、オブジェクト検出、セマンティックセグメンテーションを含む複数のタスクで強い転送性を示す。
• ターゲットモデルのアーキテクチャやパラメータが未知のブラックボックス設定でも、攻撃は依然として有効である。
• アプローチは元のタスクを超えて良好に一般化するため、特徴空間における歪みが、adversarial vulnerability のより普遍的な要因であることが示唆される。
• 本手法は、複数のベンチマークモデルとデータセットで高い成功率を達成しており、広範な適用可能性が確認された。