[論文レビュー] Exploring Sparsity and Smoothness of Arbitrary $\ell_p$ Norms in Adversarial Attacks

Christof Duhme, Florian Eilers+1 more|arXiv (Cornell University)|Feb 6, 2026

Adversarial Robustness in Machine Learning被引用数 0

ひとこと要約

論文は [1,2] の ℓ_p ノルムパラメータ p が疎性と adversarial perturbation の滑らかさにどのように影響するかを分析し、中間値の p が p=1 や p=2 より良いトレードオフを生むことが多いこと、最適な p がモデルアーキテクチャとデータセットに依存することを示す。

ABSTRACT

Adversarial attacks against deep neural networks are commonly constructed under $\ell_p$ norm constraints, most often using $p=1$, $p=2$ or $p=\infty$, and potentially regularized for specific demands such as sparsity or smoothness. These choices are typically made without a systematic investigation of how the norm parameter \( p \) influences the structural and perceptual properties of adversarial perturbations. In this work, we study how the choice of \( p \) affects sparsity and smoothness of adversarial attacks generated under \( \ell_p \) norm constraints for values of $p \in [1,2]$. To enable a quantitative analysis, we adopt two established sparsity measures from the literature and introduce three smoothness measures. In particular, we propose a general framework for deriving smoothness measures based on smoothing operations and additionally introduce a smoothness measure based on first-order Taylor approximations. Using these measures, we conduct a comprehensive empirical evaluation across multiple real-world image datasets and a diverse set of model architectures, including both convolutional and transformer-based networks. We show that the choice of $\ell_1$ or $\ell_2$ is suboptimal in most cases and the optimal $p$ value is dependent on the specific task. In our experiments, using $\ell_p$ norms with $p\in [1.3, 1.5]$ yields the best trade-off between sparse and smooth attacks. These findings highlight the importance of principled norm selection when designing and evaluating adversarial attacks.

研究の動機と目的

• ノルムパラメータ p が adversarial perturbations の構造に影響を与える principled な検討を動機づける。
• ℓ_p 制約下の perturbation を定量化するための疎性と滑らかさの指標を導入する。
• p を [1,2] の範囲でデータセットとアーキテクチャ全体で疎性と滑らかさを実証的に評価する。
• 最適な p がモデルタイプとデータ分布に依存することを明らかにする。
• adversarial training が疎性/滑らかさの挙動と頑健性を変えることを示す。

提案手法

• 疎性を定量化するために既存の二つの疎性指標（Gini 指数と Hoyer 指標）を採用する。
• 滑らかさを定量化する三つの指標を導入する。うち一つは滑らか化演算子を基盤とする枠組み、もう一つは Taylor 展開近似に基づく指標。
• AFW 変種を用いて任意の ℓ_p ノルムに対して p in [1,2] の adversarial perturbation を生成する。
• 画像領域の制約を満たす一般的な最適化枠組みを採用し、任意の p に対して adversarial 問題を解く。
• 複数のモデルアーキテクチャとデータセットに対し、モデルごと/データセットごとの攻撃強度 ε を制御して疎性と滑らかさを分析する。

実験結果

リサーチクエスチョン

• RQ1 ℓ_p ノルムパラメータ p が [1,2] の範囲で adversarial perturbation の疎性にどのように影響するか？
• RQ2 p が ℓ_p 制約下の adversarial perturbation の滑らかさにどう影響するか？
• RQ3 標準的な選択である p=1 または p=2 は中間値の p と比較して疎性/滑らかさの最適解を与えるか？
• RQ4 最適な p はモデルアーキテクチャ（CNN とトランスフォーマー）およびデータセットに依存するのか？
• RQ5 adversarial training は perturbation の疎性と滑らかさにどのような影響を与えるのか？

主な発見

• 疎性は p が約 1.3 附近でピークしやすく、滑らかさは p に伴い増加し中間レンジの値で飽和する。
• 最適な p はモデルアーキテクチャにより異なり、畳み込みモデルは約 1.3 付近にクラスタリングし、トランスフォーマーはより変動が大きく典型的な p が高めになる。
• adversarial training は一般に疎性を低下させ、効果を維持するには入力のより大きな部分に影響を与える摂動が必要になる。
• 複数の指標を考慮すると p=1 または p=2 が普遍的に疎性/滑らかさの最適解とは言えない。
• 約 1.3 から 1.5 のレンジにおける p の甘い spot が、いくつかの設定で好ましい疎性-滑らかさのトレードオフを生む。
• adversarial training は疎な摂動に対する頑健性を高める効果が大きい（訓練後の疎性の変化から観察）。