[論文レビュー] Closer Look at the Transferability of Adversarial Examples: How They Fool Different Models Differently

Futa Waseda, Sosuke Nishikawa+3 more|arXiv (Cornell University)|Dec 29, 2021

Adversarial Robustness in Machine Learning被引用数 5

ひとこと要約

この論文は、同じ adversarial 例が異なるモデルで同じか異なる誤分類を引き起こす理由を分析することで、adversarial 例のクラスに特化した転送可能性を調査している。非頑健な特徴—予測には有用だが人間には見えないパターン—が、同じ誤分類と異なる誤分類の両方を説明すると提案しており、モデル固有のこれらの特徴の使用が、類似したモデル間でも予測の相違を引き起こす原因となっている。

ABSTRACT

Deep neural networks are vulnerable to adversarial examples (AEs), which have adversarial transferability: AEs generated for the source model can mislead another (target) model's predictions. However, the transferability has not been understood in terms of to which class target model's predictions were misled (i.e., class-aware transferability). In this paper, we differentiate the cases in which a target model predicts the same wrong class as the source model ("same mistake") or a different wrong class ("different mistake") to analyze and provide an explanation of the mechanism. We find that (1) AEs tend to cause same mistakes, which correlates with "non-targeted transferability"; however, (2) different mistakes occur even between similar models, regardless of the perturbation size. Furthermore, we present evidence that the difference between same mistakes and different mistakes can be explained by non-robust features, predictive but human-uninterpretable patterns: different mistakes occur when non-robust features in AEs are used differently by models. Non-robust features can thus provide consistent explanations for the class-aware transferability of AEs.

研究の動機と目的

• adversarial 例のクラスに特化した転送可能性のメカニズムを理解し、同じ誤分類と異なる誤分類の違いを明確にすること。
• 同じアーキテクチャや摂動サイズであっても、adversarial 例が異なるモデルで異なる誤分類を引き起こす理由を調査すること。
• 人間には見えないがモデルにとっては予測に有用な非頑健な特徴—パターン—が、同じ誤分類と異なる誤分類の両方を説明できるかどうかを検証すること。
• モデル固有の非頑健な特徴への依存度が、特にブラックボックス攻撃の状況下で転送可能性の結果にどのように影響するかを評価すること。
• 共通の非頑健な特徴を標的とするアンサンブルベースの攻撃が、異なる誤分類の発生頻度を低下させるかどうかをテストすること。

提案手法

• 著者らは、CIFAR-10 に対して PGD 攻撃を用いて生成された adversarial 例を、ResNet-18 および VGG-16 モデルを用いて分析し、転送可能性を「同じ誤分類」（ソースモデルと同じ誤りクラスに分類される）と「異なる誤分類」（異なる誤りクラスに分類される）に分類している。
• adversarial 例をその予測クラスに再ラベル付けすることで非頑健な訓練データセットを構築し、これらのセットでモデルを学習させることで、複数のクラスと相関する非頑健な特徴が学習可能かどうかを検証している。
• 同じアーキテクチャと初期重みを用い、シャッフルされた訓練データセットでモデルを学習させることで、確率的要因が非頑健な特徴の学習や誤分類パターンに与える影響を分離している。
• 単一モデル（Vanilla）とアンサンブルモデル（Ensemble）に対する標的付き adversarial 攻撃を比較することで、共有される非頑健な特徴が異なる誤分類の発生を減らすかどうかを評価している。
• l2 絶対値制限付き摂動（ε=1.0）と標的付き PGD（10 ステップ）を用い、5,000 枚の画像に対して転送可能性の結果を定量的に評価し、未攻撃（unfooled）、同じ誤分類、異なる誤分類のケースを測定している。
• 非頑健なデータセットで学習したモデルが再ラベル化されたデータに対してランダム（10%）より高いテスト精度を達成することを示すことで、仮説を検証している。これは、adversarial 例に複数のクラスと相関する非頑健な特徴が存在することを確認している。

実験結果

リサーチクエスチョン

• RQ1 adversarial 例がターゲットモデルに対して同じ誤分類か異なる誤分類を引き起こすかを左右する要因は何か？
• RQ2 モデルの類似度が adversarial 転送可能性における異なる誤分類の発生頻度にどの程度影響を与えるか？
• RQ3 摂動サイズを大きくすると、異なる誤分類の割合は減少するのか？それとも、サイズにかかわらずこの現象は持続するのか？
• RQ4 人間には見えないが予測に有用な非頑健な特徴—パターン—が、同じ誤分類と異なる誤分類の両方を説明できるか？
• RQ5 アンサンブルベースの adversarial 攻撃が、共有される非頑健な特徴に焦点を当てることで、異なる誤分類の頻度を低下させることができるか？

主な発見

• adversarial 例は一般的に同じ誤分類を引き起こす傾向があり、これは非標的転送可能性と強く相関しており、モデルが共通の誤りクラスに誤分類する傾向があることを示している。
• 非常に類似したモデル間（例：同じアーキテクチャ、同じ初期重み）でも異なる誤分類が発生しており、モデル固有の特徴の使用が誤分類の乖離を引き起こす原因であることを示している。
• 大きな摂動では同じ誤分類の可能性が高まるが、異なる誤分類の割合は減少せず、根本的な原因は摂動サイズを超えたところにあることが示唆されている。
• 非頑健なデータセットで学習したモデルは、再ラベル化されたデータに対してランダム（10%）より高いテスト精度を達成しており、adversarial 例に複数のクラスと相関する非頑健な特徴が存在することを確認している。
• 同じ非頑健なセットで学習しても、異なるランダムシャッフルやドロップアウトの設定があると、モデルは異なる非頑健な特徴を学習し、同じアーキテクチャであっても異なる誤分類を引き起こす原因となっている。
• アンサンブルモデルを標的付き攻撃に用いることで、異なる誤分類の数は 250 から 216 に減少し、同じ誤分類の数は 426 から 842 に増加した。これは、共有される非頑健な特徴が転送可能性の一貫性を向上させることを確認している。