[論文レビュー] Uncovering the Connections Between Adversarial Transferability and Knowledge Transferability

Kaizhao Liang, Jacky Zhang+4 more|arXiv (Cornell University)|Jun 25, 2020

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

本論文は、深層学習における敵対的転送可能性と知識転送可能性の間で、双方向の理論的かつ実験的関係を確立する。勾配類似度とヘッセ幾何学に基づく新しい指標を提案し、敵対的転送可能性を定量化する。実験的に、高い敵対的転送可能性は高い知識転送可能性を示し、逆もまた成り立つことを示し、画像およびNLPベンチマークで広範な実験により強い正の相関が確認された。

ABSTRACT

Knowledge transferability, or transfer learning, has been widely adopted to allow a pre-trained model in the source domain to be effectively adapted to downstream tasks in the target domain. It is thus important to explore and understand the factors affecting knowledge transferability. In this paper, as the first work, we analyze and demonstrate the connections between knowledge transferability and another important phenomenon--adversarial transferability, \\emph{i.e.}, adversarial examples generated against one model can be transferred to attack other models. Our theoretical studies show that adversarial transferability indicates knowledge transferability and vice versa. Moreover, based on the theoretical insights, we propose two practical adversarial transferability metrics to characterize this process, serving as bidirectional indicators between adversarial and knowledge transferability. We conduct extensive experiments for different scenarios on diverse datasets, showing a positive correlation between adversarial transferability and knowledge transferability. Our findings will shed light on future research about effective knowledge transfer learning and adversarial transferability analyses.

研究の動機と目的

• 敵対的転送可能性と知識転送可能性の根本的関係を深層ニューラルネットワークにおいて調査すること。
• すべての可能な摂動ベクトルを考慮して敵対的転送可能性を形式的に定義し、知識転送可能性との理論的関連を確立すること。
• 知識転送可能性のための双方向指標として機能する実用的な敵対的転送可能性指標を開発すること。
• 多様なデータセットおよびモデルアーキテクチャ上で制御された実験を通じて、理論的知見の実証的検証を行うこと。
• 共通するモデル類似性特性を通じて、転送学習および敵対的耐性の向上に新たな知見を提供すること。

提案手法

• 本論文は、敵対的摂動ベクトルの全集合を考慮することで、敵対的転送可能性を形式的に定義し、厳密な理論的分析を可能にする。
• 敵対的損失のヘッセ行列によって定義される内積空間を通じて、高い敵対的転送可能性が高い知識転送可能性を示す理論的関連を導出する。
• 勾配コサイン類似度とヘッセに基づく距離に依存する2つの実用的敵対的転送可能性指標を提案し、実際の転送可能性の定量化に用いる。
• 方法には、ソースモデルを、ターゲットモデルとの勾配類似度を正則化する損失で訓練するプロセスを含み、敵対的転送可能性の制御的操作を可能にする。
• 知識転送可能性は、ソースモデルの最終層をダウンストリームタスクで微調整することで評価する。一方、敵対的転送可能性は、ターゲットモデルから生成された敵対的例を用いてソースモデルを攻撃することで測定する。
• 実験では、ℓ∞摂動予算ε=0.1、50イテレーションのPGD攻撃を用い、転送損失と敵対的指標の間の相関をピアソンスコアで評価する。

実験結果

リサーチクエスチョン

• RQ1 敵対的転送可能性と知識転送可能性の間には、根本的な理論的関係があるか？
• RQ2 敵対的転送可能性は、知識転送可能性の信頼できる指標として機能できるか？
• RQ3 知識転送可能性は、双方向的に敵対的転送可能性を予測できるか？
• RQ4 勾配類似度とヘッセ幾何学は、両方の転送可能性形式とどのように関連するか？
• RQ5 敵対的転送可能性指標は、どれほどダウンストリームの知識転送パフォーマンスを予測できるか？

主な発見

• 複数のデータセットおよびモデルアーキテクチャにおいて、敵対的転送可能性と知識転送可能性の間に強い正の相関が観察された。
• 勾配正則化（ρ ∈ {0.0, 0.5, 1.0, 2.0, 5.0}）により敵対的転送可能性を低下させたところ、知識転送可能性も低下し、精度は73.91%から71.62%に低下した。
• 個々のサンプルの知識転送損失と敵対的転送可能性指標α₁の間には、負の有意なピアソン相関が確認され、理論的予測が裏付けられた。
• NLPの実験では、知識転送信頼度と敵対的転送可能性指標α₁の間に正の相関（ピアソンスコア）が認められ、高い知識転送可能性がより高い敵対的転送可能性を示すことを示した。
• 提案された敵対的転送可能性指標、特にα₁およびα₂は、画像およびテキストタスクの両方で、知識転送可能性を予測する上で一貫性があり信頼性の高い性能を示した。
• 理論的分析により、ヘッセに基づく内積空間を通じて、高い敵対的転送可能性が高い知識転送可能性を示し、逆もまた成り立つことが確認され、双方向関係が確立された。