[論文レビュー] Perturbing Across the Feature Hierarchy to Improve Standard and Strict Blackbox Attack Transferability

Nathan Inkawhich, Kevin J Liang+4 more|arXiv (Cornell University)|Apr 29, 2020

Adversarial Robustness in Machine Learning参考文献 37被引用数 30

ひとこと要約

論文は、DNN内の中間表現を横断して摂動を加える多層特徴空間対向攻撃フレームワーク（FDAの派生 Variants）を提案し、交差分布シナリオやクエリベースの拡張を含む、最先端のターゲット型ブラックボックス転送性を達成する。

ABSTRACT

We consider the blackbox transfer-based targeted adversarial attack threat model in the realm of deep neural network (DNN) image classifiers. Rather than focusing on crossing decision boundaries at the output layer of the source model, our method perturbs representations throughout the extracted feature hierarchy to resemble other classes. We design a flexible attack framework that allows for multi-layer perturbations and demonstrates state-of-the-art targeted transfer performance between ImageNet DNNs. We also show the superiority of our feature space methods under a relaxation of the common assumption that the source and target models are trained on the same dataset and label space, in some instances achieving a $10 imes$ increase in targeted success rate relative to other blackbox transfer methods. Finally, we analyze why the proposed methods outperform existing attack strategies and show an extension of the method in the case when limited queries to the blackbox model are allowed.

研究の動機と目的

• DNN画像分類器に対するより強力なターゲット型ブラックボックス転送攻撃を動機づけ、開発する。
• 出力層の摂動を超え、ネットワーク深さに沿って複数層の特徴表現を摂動する。
• 補助ネットワークを用いて層ごと・クラスごとの特徴分布をモデル化し、敵対ノイズの指針とする。
• ImageNetモデルでの最先端のターゲット転送性能を実証し、クロスディストリビューション転送を評価する。
• FDAベースの事前情報を勾配推定攻撃と組み合わせることでクエリ効率の高い拡張を探る。

提案手法

• 各層 l とクラス y を定義し、補助モデル g_{l,y} を学習させて p(y|f_l(x)) を推定する。
• FDA目的を多層摂動へ拡張し、必要に応じてホワイトボックス出力をターゲットクラスに整合させるクロスエントロピー項を含める。
• 選択した層に跨る per-layer のターゲット確率と特徴破壊項の和を最大化することで L_p 制約下の摂動 delta を最適化する（FDA(N)）；必要に応じて +xent 拡張を含める。
• PyTorch の自動微分を用いて攻撃を組み上げ、 momentum を伴う反復的投影勾配法で敵対的サンプルを生成する。
• ImageNetモデル上で標準的なブラックボックス転送を評価し、制限データセット（RINet）を用いたクロスディストリビューション実験を実施し、FDAベースの事前情報をP-RGFで用いることでクエリベース拡張を試す。

実験結果

リサーチクエスチョン

• RQ1 複数の中間層に跨る摂動はブラックボックス攻撃におけるターゲット転送性にどのような影響を与えるか？
• RQ2 多層特徴空間攻撃は標準的および厳格なブラックボックス設定において単層または出力層攻撃より優れているか？
• RQ3 クロスディストリビューションの訓練データとラベル空間の違いは特徴空間攻撃で緩和できるか？
• RQ4 クロスエントロピー項の追加と多層摂動が転送成功と特徴空間の妨害に与える影響はどの程度か？
• RQ5 転送先事前情報を活用した限定クエリ拡張は、クエリ効率の高いターゲット攻撃を改善できるか？

主な発見

• 多層 FDA 攻撃は、出力層ベースラインおよび単一層 FDA と比較してターゲット転送率を大幅に改善し、tSuc でしばしば10ポイント超の利得を示す。
• クロスエントロピー項 (FDA +xent) の導入は多くの設定でターゲット成功率を大きく高め、多層摂動を補完する。
• FDA(N) の層数 N を増やすと多くの転送でターゲット成功率がほぼ倍増し、アンサンブルベースのアプローチを凌駕する。
• クロスディストリビューションシナリオ全体で、FDAベースの方法は TMIM や TMIM+SGM よりも優位で、白箱とブラックボックスのデータセットやラベル空間が異なる場合でも顕著な利得がある。
• P-RGF に FDA(5) +xent を事前情報として用いるクエリベース拡張は、限られたクエリでターゲット成功を大幅に向上させ、十分なクエリで tSuc が 90% 超を達成する。
• Distal transfers において FDA(N) +xent はベースラインより顕著に高い転送性を示し、特徴階層摂動の強さを裏付ける。