[論文レビュー] Why Do Adversarial Attacks Transfer? Explaining Transferability of Evasion and Poisoning Attacks

Ambra Demontis, Marco Melis+6 more|arXiv (Cornell University)|Sep 8, 2018

Adversarial Robustness in Machine Learning参考文献 53被引用数 93

ひとこと要約

この論文は、回避およびポイズニング攻撃の統一的勾配ベースフレームワークを提示し、転移可能性を定式化し、モデルとデータセットを横断する転移可能性を推進する要因を特定します。

ABSTRACT

Transferability captures the ability of an attack against a machine-learning model to be effective against a different, potentially unknown, model. Empirical evidence for transferability has been shown in previous work, but the underlying reasons why an attack transfers or not are not yet well understood. In this paper, we present a comprehensive analysis aimed to investigate the transferability of both test-time evasion and training-time poisoning attacks. We provide a unifying optimization framework for evasion and poisoning attacks, and a formal definition of transferability of such attacks. We highlight two main factors contributing to attack transferability: the intrinsic adversarial vulnerability of the target model, and the complexity of the surrogate model used to optimize the attack. Based on these insights, we define three metrics that impact an attack's transferability. Interestingly, our results derived from theoretical analysis hold for both evasion and poisoning attacks, and are confirmed experimentally using a wide range of linear and non-linear classifiers and datasets.

研究の動機と目的

• 回避およびポイズニング攻撃の転移可能性を定義する。
• 両方の攻撃タイプを統合する勾配ベースの最適化フレームワークを開発する。
• 代理モデル-ターゲットモデルペア間の転移可能性に影響を与える要因を特定する。
• モデルの複雑さと入力勾配を転移可能性に関連づける指標を提案する。
• 複数の分類器とデータセットで理論的洞察を経験的に検証する。

提案手法

• さまざまな脅威モデルの下で、回避およびポイズニング攻撃を包含する勾配降下攻撃フレームワークを導入する。
• ロジスティック回帰のための新規勾配ベースのポイズニング可用性攻撃を導出する。
• 転移可能性を形式化し、入力勾配、代理-ターゲット勾配整合性、損失の景観分散の分析を通じてその成功を境界付ける。
• 実現可能な操作集合への射影を伴う勾配ベース攻撃生成のアルゴリズムを提供する。
• 学習アルゴリズムを通した暗黙の微分を用いてポイズニング攻撃の勾配を計算する（KKT条件）。
• MNIST、DREBIN、および LFW で線形および非線形分類器に対して攻撃を評価する。

実験結果

リサーチクエスチョン

• RQ1 代理モデルからターゲットモデルへ対敵的な攻撃が転移する原因は何か？
• RQ2 代理-ターゲット勾配整合性とモデルの複雑さは転移可能性にどう影響するか？
• RQ3 単一の統合最適化フレームワークは、脅威モデルを横断して回避攻撃とポイズニング攻撃の両方を説明できるか。
• RQ4 モデルの複雑さと入力勾配を転移可能性に関連づける実用的な指標は何か？
• RQ5 理論的洞察は多様なデータセットと分類器タイプにおいて妥当か？

主な発見

• 転移可能性は、内在的なターゲットモデルの脆弱性、代理モデルの複雑さ、そして代理モデルとターゲットの勾配の整合性に影響される。
• 3つの指標が浮上する：入力勾配の大きさ、代理とターゲット間の勾配整合性、損失の景観分散。
• 正則化と低いモデル複雑さは入力勾配の大きさを抑え、回避およびポイズニングの両方に対するロバスト性を向上させる可能性がある。
• 代理とターゲットの勾配の整合性を強化すると攻撃の転移可能性が高まる。
• より高い信頼度を伴う回避攻撃は、モデル間で転移しやすい傾向がある。
• このフレームワークはロジスティック回帰の新しいポイズニング可用性攻撃を生み出し、複数のデータセットで所見を検証する。