[論文レビュー] Transferable Perturbations of Deep Feature Distributions

Nathan Inkawhich, Kevin J Liang+2 more|arXiv (Cornell University)|Apr 27, 2020

Adversarial Robustness in Machine Learning参考文献 26被引用数 20

ひとこと要約

本稿では、白ボックスの代替モデルから学習されたクラス別およびレイヤー別の深層特徴分布を活用して、非常に転送可能な摂動を生成する、新しい標的型ブラックボックス adversarial 攻撃である特徴分布攻撃（FDA）を提案する。出力層の勾配に依存するのではなく、中間特徴分布のシフトを最適化することで、防御なしの ImageNet モデルにおいて最先端の転送成功確率を達成するとともに、特徴空間の変化および転送性のメカニズムの解釈可能性を提供する。

ABSTRACT

Almost all current adversarial attacks of CNN classifiers rely on information derived from the output layer of the network. This work presents a new adversarial attack based on the modeling and exploitation of class-wise and layer-wise deep feature distributions. We achieve state-of-the-art targeted blackbox transfer-based attack results for undefended ImageNet models. Further, we place a priority on explainability and interpretability of the attacking process. Our methodology affords an analysis of how adversarial attacks change the intermediate feature distributions of CNNs, as well as a measure of layer-wise and class-wise feature distributional separability/entanglement. We also conceptualize a transition from task/data-specific to model-specific features within a CNN architecture that directly impacts the transferability of adversarial examples.

研究の動機と目的

• 防御なしの ImageNet 分類器において、既存手法を上回る性能を示すブラックボックス転送型 adversarial 攻撃を開発すること。
• 深層ニューラルネットワーク内の中間特徴分布の変化を分析することで、adversarial 攻撃の解釈性を向上させること。
• 特徴分布の分離度、レイヤーの深さ、adversarial 転送性の関係を調査すること。
• クラス固有の特徴と最終モデル出力との相関が低いバランスの取れた最適なレイヤーを特定すること。
• CNN アーキテクチャ内でのタスク／データ固有の特徴からモデル固有の特徴への移行を概念的に捉え、その転送性に与える影響を明らかにすること。

提案手法

• 各レイヤー $ l $ とクラス $ c $ に対して、$ p(y=c|f_l(x)) $（レイヤー $ l $ の特徴がクラス $ c $ 属する確率）を推定するための補助二値ニューラルネットワーク $ g_{l,c} $ を訓練する。
• これらの学習済み分布を用いて、代替モデルの特徴空間においてターゲットクラスの信頼度を最大化することで、標的型 adversarial 例を生成する。
• adversarial 例の生成中にモーメンタムベースの最適化を適用することで、代替アーキテクチャへの過適合を低減し、収束性を向上させる。
• クラス間およびクラス内摂動距離を用いて特徴分布の分離度を測定する。この距離は、ターゲットクラスまたはソースクラスの高信頼度領域に到達するまでに必要な小さなステップ数として定義される。
• 補助モデルのサリエンシー地図を分析することで、異なるレイヤー深さにおける分類予測に最も寄与する画像領域を可視化する。
• 中間特徴分布と最終モデル出力との相関分析を用いて、情報量が多くて最終意思決定境界に強く結びついていないレイヤーを同定する。

実験結果

リサーチクエスチョン

• RQ1 中間特徴分布を摂動させることで、adversarial 例のブラックボックスモデルへの転送性にどのような影響を与えるか？
• RQ2 CNN のどのレイヤーが、非常に転送可能な adversarial 例を生成するのに最も適した特徴分布を示すか？
• RQ3 特徴分布の分離度とエンタングルメントが、異なるアーキテクチャ間で転送成功確率にどの程度相関するか？
• RQ4 タスク／データ固有の特徴からモデル固有の特徴への移行が、adversarial 転送性にどのように影響を与えるか？
• RQ5 特徴分布モデリングは、adversarial 攻撃が深層ネットワークの内部表現をどのように変化させるかを解釈可能なインサイトを提供できるか？

主な発見

• FDA は、出力層の勾配に依存するのではなく中間特徴分布を活用することで、防御なしの ImageNet モデルにおいて最先端の標的型ブラックボックス転送攻撃成功確率を達成した。
• 最も転送性の高い adversarial 摂動は、クラス間で特徴分布が明確に分離されているが、最終モデル出力と過度に相関しないレイヤーで生成される。
• VGG19 は DenseNet121 や ResNet50 よりも顕著に低い特徴分離度を示しており、攻撃実験における劣る転送性能と相関していた。
• サリエンシー解析により、高性能な転送レイヤーでは、グローバルなサリエンシーから局所的サリエンシーへの移行が観察され、これらのレイヤーが判別力があり一般化可能な特徴を捉えていることが示された。
• 高転送性攻撃は、ブラックボックスモデルの中間特徴空間に顕著な混乱を引き起こすことが確認され、成功した転送の背後には特徴レベルの変化があることが裏付けられた。
• 本研究では、最適な転送性が現れる特徴表現の重要な転換点（タスク／データ固有からモデル固有へ）を同定し、耐性設計のためのアーキテクチャ的知見が得られた。