[論文レビュー] Boosting Adversarial Transferability via Fusing Logits of Top-1 Decomposed Feature

Juanjuan Weng, Zhiming Luo+3 more|arXiv (Cornell University)|May 2, 2023

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

本論文は、元のログティスと上位1つの特徴分解された特徴を融合させることで、敵対的転送性を向上させる、SVDに基づく特徴レベルの攻撃手法を提案する。中間層特徴から最も汎用性が高く注意を引きやすい成分を活用することで、重要度推定に追加計算を要せず、多様なモデルや防御機構に対して高い攻撃成功率を達成し、最小限の訓練コストで最先端の性能を実現する。

ABSTRACT

Recent research has shown that Deep Neural Networks (DNNs) are highly vulnerable to adversarial samples, which are highly transferable and can be used to attack other unknown black-box models. To improve the transferability of adversarial samples, several feature-based adversarial attack methods have been proposed to disrupt neuron activation in the middle layers. However, current state-of-the-art feature-based attack methods typically require additional computation costs for estimating the importance of neurons. To address this challenge, we propose a Singular Value Decomposition (SVD)-based feature-level attack method. Our approach is inspired by the discovery that eigenvectors associated with the larger singular values decomposed from the middle layer features exhibit superior generalization and attention properties. Specifically, we conduct the attack by retaining the decomposed Top-1 singular value-associated feature for computing the output logits, which are then combined with the original logits to optimize adversarial examples. Our extensive experimental results verify the effectiveness of our proposed method, which can be easily integrated into various baselines to significantly enhance the transferability of adversarial samples for disturbing normally trained CNNs and advanced defense strategies. The source code of this study is available at https://github.com/WJJLL/SVD-SSA

研究の動機と目的

• 高価な重要度推定に依存せずに、ブラックボックス攻撃設定における敵対的例の転送性を向上させること。
• 中間特徴の上位1つの特異値分解（SVD）が、敵対的頑健性および一般化性を向上させることを検証すること。
• SVDから得られる特徴を損失最適化プロセスに統合する、軽量で効率的な攻撃手法を開発すること。
• 標準的および敵対的訓練されたモデル、特に強力な防御機構を有するモデルに対しても、本手法の有効性を検証すること。
• 最大特異値成分が、一般化可能で注意関心に関連する特徴を捉えていることから、モデル間転送性が向上することを示すこと。

提案手法

• 本手法は、サーヴェイモデルの内部特徴マップに対して特異値分解（SVD）を適用し、上位1つの特異値およびその関連する左特異ベクトルと右特異ベクトルを抽出する。
• 上位1つのSVD成分のみを用いて変更された特徴表現を構築し、これにより出力ログティスを計算する。
• 敵対的例最適化の過程で、学習可能な重みパラメータβを用いて、SVD由来のログティスと元のモデルログティスを統合する。
• 攻撃目的関数は、標準的な交差エントロピー損失と、元のログティスおよびSVD由来ログティスの重み付き和を組み合わせることで、摂動生成を誘導する。
• 勾配に基づく重要度推定にかかるコストを回避するため、支配的SVD成分を直接使用しており、これは本質的に最も汎用性が高く注意関心に関連する特徴を捉えている。
• 本手法はプラグアンドプレイであり、既存の攻撃ベースラインと互換性があり、追加計算を最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 中間特徴の上位1つの特異値成分が、異なるモデル間で敵対的転送性を向上させることができるか？
• RQ2 SVD由来のログティスと元のログティスを統合することで、計算コストを増加させずに攻撃成功率が向上するか？
• RQ3 本手法は、既存の特徴ベース攻撃と比較して、転送性および効率性の面で優れているか？
• RQ4 攻撃性能の観点から、元のログティスとSVD由来ログティスの最適なトレードオフは何か？
• RQ5 SVDに基づく特徴統合手法は、多様なモデルの注意メカニズムを効果的に混乱させることができるか？

主な発見

• 本手法は、ソースモデルとしてInception-V3を用いた場合、未防御モデルにおいて99.8%の攻撃成功率を達成し、FIA（98.3%）やNAA（98.1%）といった最先端手法を上回る。
• 敵対的訓練済みモデルでは、Inc-v3-advで64.2%、Inc-v3-ens3で61.2%の成功率を記録し、FIA（53.3%および36.1%）およびNAA（61.5%および50.5%）を上回った。
• ログティス統合の最適なハイパーパrameterβは約0.5であり、このとき攻撃成功率がピークに達しており、元の特徴とSVD特徴のバランスの取れた使用が有効であることが示された。
• 上位1つのSVD特徴を用いることで転送性が顕著に向上するが、k > 2の上位k特徴を用いる場合、性能が劣化するため、支配的成分のみが有益であることが示された。
• 2080Ti GPU上で本手法はたったの1029秒の訓練時間で実行可能であり、FIA（7081秒）、NAA（7163秒）、FDA（1421秒）よりも効率的である。
• Eigen-CAMによる可視化により、SVDを用いて生成された敵対的例が、真の物体から無関係な領域へ注意を引きつけることが確認され、特徴レベルでの破壊的干渉が顕著に発生していることが示された。