[論文レビュー] Structure Invariant Transformation for better Adversarial Transferability

Xiaosen Wang, Zeliang Zhang+1 more|arXiv (Cornell University)|Sep 26, 2023

Adversarial Robustness in Machine Learning被引用数 5

ひとこと要約

本稿では、構造を保存しながら画像ブロックに局所的に多様な変換を適用することにより、転送性を向上させる入力変換ベースの新しい対抗的攻撃、構造不変攻撃（SIA）を提案する。複数のブロックごとの変換画像上で勾配を計算することで、SIAはCNNおよびビジョントランスフォーマーモデルの両方で最先端の転送性を達成し、ImageNet上では先行手法よりも最大7.6%高い性能を示す。

ABSTRACT

Given the severe vulnerability of Deep Neural Networks (DNNs) against adversarial examples, there is an urgent need for an effective adversarial attack to identify the deficiencies of DNNs in security-sensitive applications. As one of the prevalent black-box adversarial attacks, the existing transfer-based attacks still cannot achieve comparable performance with the white-box attacks. Among these, input transformation based attacks have shown remarkable effectiveness in boosting transferability. In this work, we find that the existing input transformation based attacks transform the input image globally, resulting in limited diversity of the transformed images. We postulate that the more diverse transformed images result in better transferability. Thus, we investigate how to locally apply various transformations onto the input image to improve such diversity while preserving the structure of image. To this end, we propose a novel input transformation based attack, called Structure Invariant Attack (SIA), which applies a random image transformation onto each image block to craft a set of diverse images for gradient calculation. Extensive experiments on the standard ImageNet dataset demonstrate that SIA exhibits much better transferability than the existing SOTA input transformation based attacks on CNN-based and transformer-based models, showing its generality and superiority in boosting transferability. Code is available at https://github.com/xiaosen-wang/SIT.

研究の動機と目的

• 既存のブラックボックス対抗的攻撃、特に入力変換ベースの手法の転送性が低いという問題に取り組む。
• 変換画像の多様性を高めることで、対抗的攻撃の転送性が向上するかどうかを調査する。
• グローバルな画像構造を損なわずに多様性を高める新しい画像変換戦略を設計する。
• 複数の多様な変換画像を活用する勾配ベースの攻撃を構築し、転送性を向上させる。
• 提案手法の有効性と一般化能力を、ビジョントランスフォーマーモデルを含む多様なアーキテクチャで検証する。

提案手法

• 入力画像を重複のない空間的ブロック（例：3×3）に分割し、局所的変換を可能にする。
• 各画像ブロックを独立して、リサイズ、スケーリング、トランスレーション、混合操作のランダムな組み合わせで変換する。
• 攻撃はN体のブロックごとの変換画像上で勾配を計算し、それらを平均化して分散を低減する。
• 平均化された勾配を用いて摂動を更新することで、構造的一致性を保ちながら多様性を向上させる。
• 変換戦略は、グローバルなオブジェクト構造を維持しながら、ブロック間の局所的変動を最大化するように設計されている。
• 攻撃はブラックボックス設定で実行され、ターゲットモデルへのクエリアクセスのみを必要とする。

実験結果

リサーチクエスチョン

• RQ1 変換画像の多様性を高めることで、対抗的攻撃の転送性が向上するか？
• RQ2 局所的でブロック単位の画像変換は、構造的整合性を保ちながら多様性を高め、攻撃性能を向上させられるか？
• RQ3 画像ブロックの数と変換画像の数が、勾配の品質と攻撃成功にどのように影響するか？
• RQ4 本手法は、CNNおよびビジョントランスフォーマーモデルの両方で、グローバル変換ベースの攻撃よりも優れているか？
• RQ5 各個々の変換タイプが全体の転送性向上にどの程度寄与しているか？

主な発見

• SIAは、ResNet-18においてMI-FGSMよりも7.6%高い攻撃成功確率を達成し、優れた転送性を示した。
• SIAは、Admix や SSA などのSOTA手法を、ビジョントランスフォーマーモデルを含むすべての評価対象モデルで上回った。
• 複数の変換を組み合わせることで攻撃成功確率が向上し、それらが相補的な利点をもたらしていることが確認された。
• 任意の1つの変換タイプを除去すると転送性が低下し、各タイプが全体のパフォーマンス向上に意味的に寄与していることが示された。
• SIAはs=3ブロックおよびN=20枚の変換画像を用いることで、多様性と勾配分散のバランスが最良の状態に達した。
• SIAは、グローバルに変換を適用するランダム変換ベースライン（SIA_r）を著しく上回り、ブロック単位の処理の優位性を実証した。