[論文レビュー] Understanding Adversarial Examples from the Mutual Influence of Images and Perturbations

Chaoning Zhang, Philipp Benz+2 more|arXiv (Cornell University)|Jul 13, 2020

Adversarial Robustness in Machine Learning参考文献 50被引用数 4

ひとこと要約

本稿では、DNNのログ確率を特徴ベクトルとして扱い、ピアソン積率相関係数（PCC）を用いて、クリーン画像と adversarial パーティクルの相互影響を分析する新規フレームワークを提案する。その結果、普遍的 adversarial パーティクル（UAPs）は支配的特徴を有している一方で、画像はそれらに対してノイズのように振る舞うことが明らかになった。これにより、元の学習データを必要とせず、プロキシデータセットのみを用いて最初のデータフリーなターゲット指向UAP生成が可能となり、最先端手法と同等の性能を達成した。

ABSTRACT

A wide variety of works have explored the reason for the existence of adversarial examples, but there is no consensus on the explanation. We propose to treat the DNN logits as a vector for feature representation, and exploit them to analyze the mutual influence of two independent inputs based on the Pearson correlation coefficient (PCC). We utilize this vector representation to understand adversarial examples by disentangling the clean images and adversarial perturbations, and analyze their influence on each other. Our results suggest a new perspective towards the relationship between images and universal perturbations: Universal perturbations contain dominant features, and images behave like noise to them. This feature perspective leads to a new method for generating targeted universal adversarial perturbations using random source images. We are the first to achieve the challenging task of a targeted universal attack without utilizing original training data. Our approach using a proxy dataset achieves comparable performance to the state-of-the-art baselines which utilize the original training dataset.

研究の動機と目的

• クリーン画像と普遍的 adversarial パーティクルの間の本質的関係を、普遍的 adversarial 攻撃の文脈で理解すること。
• DNNログ確率を用いた特徴優位性の分析を通じて、従来の「ノイズ」という見方を覆し、パラメータの優位性を検証すること。
• 元の学習データにアクセスできない状況でも、ターゲット指向の普遍的 adversarial パーティクルを生成する手法を開発すること。
• COCOのようなプロキシデータセットが、データが不足する状況下でターゲット指向UAP生成にどの程度有効であるかを検証すること。

提案手法

• 分類の上位クラスに注目するのではなく、DNNのログ確率出力を特徴表現としてベクトル表現として分析する。
• ピアソン積率相関係数（PCC）を用いて、2つの独立入力（例：画像とパラメータ）が組み合わせられたログ確率ベクトルに与える線形的影響を定量化する。
• 個々の入力とその和のログ確率ベクトル間のPCCを計算することで、クリーン画像とパラメータの寄与を分離する。
• UAPが画像を支配するという知見を活用し、ランダムなソース画像をプロキシデータセットとして用いて、ターゲット指向UAP生成手法を設計する。
• 式(4)に示す非ターゲット損失関数を定式化し、勾配ブロッキングを回避することで、自動的なクラス優位性探索を可能にする。
• 異なるネットワークアーキテクチャを対象に、誤検出率と転送性メトリクスを用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 普遍的 adversarial 例において、クリーン画像と adversarial パーティクルは、DNNのログ確率表現にどのように相互に影響を与え合うか？
• RQ2 普遍的 adversarial パーティクルは、それらに適用される画像の特徴と比較して、支配的特徴を有しているか？
• RQ3 DNN特徴空間の文脈において、画像は普遍的 adversarial パーティクルの特徴に対してノイズと見なせるか？
• RQ4 元の学習データセットにアクセスできない状況で、ターゲット指向の普遍的 adversarial パーティクルを生成することは可能か？
• RQ5 元の学習データを用いる最先端手法と比較して、データフリーなターゲット指向UAP生成の性能はどの程度か？

主な発見

• ピアソン積率相関係数（PCC）分析により、adversarial 例（AEs）は普遍的 adversarial パーティクル（UAPs）と強く相関しているが、元のクリーン画像とは弱く相関していることが明らかになった。
• UAPはDNN特徴空間において支配的特徴を示しており、入力画像はそれらに対してノイズのように振る舞う。これは、従来の「加法的ノイズ」という見方を覆すものである。
• 提案手法は、COCOなどのプロキシデータセットのみを用いてターゲット指向UAPを生成し、Inception-V3では53.4％のターゲット誤検出率を達成した。これは、元のImageNetデータを用いた先行研究（52％）を上回った。
• 元の学習データにアクセスできない状況下でも、最先端のデータフリーUAP生成手法と同等の性能を達成しており、実用性が裏付けられた。
• 非ターゲット転送性は、特にVGG16とVGG19のような類似アーキテクチャ間で比較的強く、PCC値から特徴類似度が高いことが示された。
• ターゲット転送性は低く、特に異なるネットワークファミリー間で顕著であり、画像依存攻撃の研究結果と整合的である。PCCはネットワークの転送性に関する追加的洞察を提供した。