[論文レビュー] Should Adversarial Attacks Use Pixel p-Norm?

Ayon Sen, Xiaojin Zhu+2 more|arXiv (Cornell University)|Jun 6, 2019

Adversarial Robustness in Machine Learning参考文献 24被引用数 15

ひとこと要約

この論文は、敵対的攻撃における画像の摂動の人の目による認識を正確にモデル化できるかを調査する。ピクセル $p$-ノルム、Earth Mover's Distance (EMD)、構造的類似性 (SSIM)、深層ニューラルネットワーク (DNN) ベクトル表現の4つの指標を評価した。人間被験者を用いた行動実験の結果、これらの指標のいずれも完全に人の最小可視差 (JND) 判定と一致しなかったが、ピクセル 3-ノルムが評価された指標の中で最も近い近似であった。

ABSTRACT

Adversarial attacks aim to confound machine learning systems, while remaining virtually imperceptible to humans. Attacks on image classification systems are typically gauged in terms of $p$-norm distortions in the pixel feature space. We perform a behavioral study, demonstrating that the pixel $p$-norm for any $0\le p \le \infty$, and several alternative measures including earth mover's distance, structural similarity index, and deep net embedding, do not fit human perception. Our result has the potential to improve the understanding of adversarial attack and defense strategies.

研究の動機と目的

• ピクセル $p$-ノルム、EMD、SSIM、DNN表現といった一般的に用いられる画像歪み指標が、小さな画像変化の人の目による認識をどれだけ正確に反映しているかを評価すること。
• 特に敵対的攻撃の文脈において、画像摂動の最小可視差 (JND) を最もよく近似する指標を同定すること。
• 敵対的機械学習分野で広く想定されている、$p$-ノルム（特に $p=2$）が人間の知覚感受性の妥当な代理指標であるという仮定に疑問を呈すること。
• 小さな、現実的で現実的な摂動に注目した、画像歪み認識に関する人間の行動実験による実証的証拠を提供すること。
• より知覚に整合した歪み指標を同定することで、今後の敵対的攻撃および防御戦略の設計を支援すること。

提案手法

• 被験者が『元の画像 $\mathbf{x}_0$ を表示した後、摂動を加えた画像を表示』するというパラダイムに従い、摂動画像が元画像と知覚的に異なるかどうかを判断する人間の行動実験を実施した。
• 複数の画像（$\mathbf{x}_0$）と摂動方向（例：FGSM、PGD、$\pm1$-方向）を用いて、知覚的閾値を評価するためのJNDデータを収集した。
• 複数の歪み指標を評価した：ピクセル $p$-ノルム（$p \in [0, \infty]$）、EMD、SSIM、DNN表現 $p$-ノルム（Inception V3特徴量を用いて）。
• 各指標を $\rho(\mathbf{x}_0, \mathbf{0})$ で正規化することで、異なる指標間でのJND判断のばらつきを比較可能にした。
• JND画像上での正規化された指標値の標準偏差を用い、近似の質の指標とした（標準偏差が低いほど人間の知覚に近い）。
• Kolmogorov-Smirnov検定を用いて、異なる摂動タイプ（例：敵対的 vs. ランダム方向）における指標分布の差を比較した。

実験結果

リサーチクエスチョン

• RQ1 ピクセル $p$-ノルム、EMD、SSIM、DNN表現は、最小可視差（JND）という観点から、画像摂動の人間の認識を正確に反映しているか？
• RQ2 多様な画像刺激と摂動方向において、評価された指標の中でどの指標が人間のJND判断を最もよく近似しているか？
• RQ3 ピクセル空間における特定の $p$-ノルムが、他のものよりも人間の知覚閾値に適しているか？
• RQ4 DNN表現（例：Inception V3）は、人間の知覚と比較して、微細な画像変化を検出する能力においてどう異なるか？
• RQ5 FGSM や PGD といった敵対的摂動は、単純な摂動（例：$\pm1$ 方向）と比較して、人間の知覚的境界からどれほどずれているか？

主な発見

• 評価された指標（ピクセル $p$-ノルム、EMD、SSIM、DNN表現 $p$-ノルム）のいずれも、完全に人間のJND判断と一致しなかった。これは、現在の敵対的攻撃用指標と人間の知覚の間に根本的な不一致があることを示している。
• ピクセル 3-ノルムは、人間のJND画像上での正規化された指標値の標準偏差が最小であり、全評価指標の中で最も優れた性能を示した。
• 敵対的方向（例：PGD）に沿った人間のJND画像では、DNN 2-ノルム値の中央値が 13.6 に達したが、単純な $\pm1$ 方向では中央値が 1.8 に留まり、分布が等しいという帰無仮説は棄却された（p値 $2.1 \times 10^{-12}$）。
• JND画像上でのピクセル 3-ノルムの値のばらつき（図8に示す）は、$p=1,2,\infty$、EMD、SSIM、DNNノルムと比較してより一貫しており、知覚的整合性が優れていることを示している。
• 本研究では、20%の高被引用論文が攻撃で $p$-ノルムを用いる際にその知覚的妥当性を証明せずに仮定しており、50%は慣習的・形式的な理由で使用していた。これは、研究手法の正当性に深刻なギャップがあることを示している。
• DNN表現 $p$-ノルムは高いばらつき（標準偏差 > 0.12）を示し、スケールの不一致のため主な比較から除外された。これは、DNN表現が人間の知覚閾値の代替指標として不適切である可能性を示唆している。