[論文レビュー] A Unified Spatial Alignment Framework for Highly Transferable Transformation-Based Attacks on Spatially Structured Tasks

Jiaming Liang, Chi-Man Pun|arXiv (Cornell University)|Mar 26, 2026

Adversarial Robustness in Machine Learning被引用数 0

ひとこと要約

論文は Spatial Alignment（SA）を導入し、ラベルを空間変換と同期させることで、セグメンテーションや検出などの構造化タスクに対するエンドツーエンドの変換ベース敵対攻撃（TAA）を可能にし、Spatial Alignment Framework（SAF）を形成します。

ABSTRACT

Transformation-based adversarial attacks (TAAs) demonstrate strong transferability when deceiving classification models. However, existing TAAs often perform unsatisfactorily or even fail when applied to structured tasks such as semantic segmentation and object detection. Encouragingly, recent studies that categorize transformations into non-spatial and spatial transformations inspire us to address this challenge. We find that for non-structured tasks, labels are spatially non-structured, and thus TAAs are not required to adjust labels when applying spatial transformations. In contrast, for structured tasks, labels are spatially structured, and failing to transform labels synchronously with inputs can cause spatial misalignment and yield erroneous gradients. To address these issues, we propose a novel unified Spatial Alignment Framework (SAF) for highly transferable TAAs on spatially structured tasks, where the TAAs spatially transform labels synchronously with the input using the proposed Spatial Alignment (SA) algorithm. Extensive experiments demonstrate the crucial role of our SAF for TAAs on structured tasks. Specifically, in non-targeted attacks, our SAF degrades the average mIoU on Cityscapes from 24.50 to 11.34, and on Kvasir-SEG from 49.91 to 31.80, while reducing the average mAP of COCO from 17.89 to 5.25.

研究の動機と目的

• 従来のTAAが空間的に構造化されたタスク（例：セグメンテーション、検出）でなぜ失敗するのかを特定する。
• 空間変換とラベルを同期させるSpatial Alignment（SA）を提案する。
• SAを統合した構造化タスク向け統一的Spatial Alignment Framework（SAF）を構築する。
• SAFの有効性を意味的セグメンテーションと物体検出の両方で実証する。
• SAFが多様なバックボーンとデータセットに対して攻撃の転送性をどのように変えるかを調査する。

提案手法

• 変換を非空間成分と空間成分に分解してずれを分析する。
• ラベルに空間変換を適用してSA対応の勾配式を導出する： bar{μ} = (1/N) Σ ∇_{x_adv} J(f_s(T(x_adv)), T_s(y)) (Equation 8)。
• 反復的TAAs内でSAを実装するアルゴリズム1 Spatial Alignmentを開発する（モメンタム、変換対応数N、反復回数Lを含む）。
• 入力と同期してラベルを変換することでSAFを意味セグメンテーションと物体検出の両方に実装する（セグメンテーションはラベルマップを、検出は検出境界ボックスを再計算する）。
• Cityscapes、Kvasir-SEG、MS COCOで複数のTAA（DEM、SIA、BSR、I-C）を用いてSAFを評価する。
• SAが空間的ずれを排除し、構造化タスクへのTAAの転送性を高めることを示す。

Figure 1 : Performance gains from integrating spatial alignment framework into various TAAs across spatially structured tasks. Four groups of bars correspond to DEM, SIA, BSR, and I-C, respectively. Surrogate models are indicated in gray boxes.

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドのTAAは空間的に構造化されたタスクで非構造化タスクと比較してなぜ性能が低いのか？
• RQ2 入力と同期してラベルを変換するSpatial Alignmentは、セグメンテーションと検出で既存のTAAを効果的に機能させることができるか？
• RQ3 SAFは意味的セグメンテーションと物体検出のベンチマークにおける多様なTAAの転送性を改善するか？
• RQ4 非標的攻撃と標的攻撃、一般的な入力前処理防御下でSAFはどう機能するか？

主な発見

• SAFは構造化タスクにおける攻撃転送性を劇的に改善し、非SAベースラインと比較して平均性能指標を低下させる（例：CityscapesのmIoUが24.50から11.34へ、Kvasir-SEGが49.91から31.80へ、MS COCOのmAPが17.89から5.25へ）。
• Cityscapesに対する非標的攻撃では、SAFベースのTAAが様々なバックボーンと検出器で最先端ベースラインを上回る。
• 標的攻撃は、従来のTAAsが空間的ずれでほぼ失敗する状況をSAFが回復させることを示す。
• 入力前処理防御（JPEG、BitR）下でもSAFは有効性を維持し、非SA系の変種よりも劣化が少ない。
• 意味的セグメンテーションと物体検出の両方において、SAFはエンドツーエンドのTAAを構造化タスクで以前の性能制限を超える水準へと引き上げる。

Figure 2 : Illustration of the proposed Spatial Alignment Framework (SAF) .