[논문 리뷰] Exploring Sparsity and Smoothness of Arbitrary $\ell_p$ Norms in Adversarial Attacks

Christof Duhme, Florian Eilers외 1명|arXiv (Cornell University)|2026. 02. 06.

Adversarial Robustness in Machine Learning인용 수 0

한 줄 요약

논문은 [1,2] 구간에서 ℓ_p 노름 매개변수 p를 바꿀 때 적대적 perturbations의 희소성과 매끄러움에 미치는 영향을 분석하고, 중간 p 값들이 보통 p=1 또는 p=2보다 더 나은 트레이드오프를 제공하며, 최적의 p는 모델 아키텍처와 데이터세트에 따라 달라진다는 것을 보여준다.

ABSTRACT

Adversarial attacks against deep neural networks are commonly constructed under $\ell_p$ norm constraints, most often using $p=1$, $p=2$ or $p=\infty$, and potentially regularized for specific demands such as sparsity or smoothness. These choices are typically made without a systematic investigation of how the norm parameter \( p \) influences the structural and perceptual properties of adversarial perturbations. In this work, we study how the choice of \( p \) affects sparsity and smoothness of adversarial attacks generated under \( \ell_p \) norm constraints for values of $p \in [1,2]$. To enable a quantitative analysis, we adopt two established sparsity measures from the literature and introduce three smoothness measures. In particular, we propose a general framework for deriving smoothness measures based on smoothing operations and additionally introduce a smoothness measure based on first-order Taylor approximations. Using these measures, we conduct a comprehensive empirical evaluation across multiple real-world image datasets and a diverse set of model architectures, including both convolutional and transformer-based networks. We show that the choice of $\ell_1$ or $\ell_2$ is suboptimal in most cases and the optimal $p$ value is dependent on the specific task. In our experiments, using $\ell_p$ norms with $p\in [1.3, 1.5]$ yields the best trade-off between sparse and smooth attacks. These findings highlight the importance of principled norm selection when designing and evaluating adversarial attacks.

연구 동기 및 목표

• 노름 매개변수 p가 적대적 perturbations의 구조에 미치는 영향에 대해 원칙에 입각한 검토를 제시한다.
• ℓ_p 제약하에서 perturbations를 정량화하기 위한 희소성 및 매끄러움 측정 지표를 도입한다.
• [1,2]의 p에 대해 데이터세트와 아키텍처 전반에 걸쳐 희소성과 매끄러움을 경험적으로 평가한다.
• 최적의 p가 모델 유형과 데이터 분포에 어떻게 의존하는지 파악한다.
• 적대적 학습이 희소성/매끄러움 동작 및 강건성에 미치는 변화를 보여준다.

제안 방법

• 두 가지 확립된 희소성 측정치(Gini Index와 Hoyer 지표)를 채택하여 perturbation의 희소성을 정량화한다.
• 스무딩-연산자 기반 프레임워크와 테일러 근사 기반 측정치를 포함한 세 가지 매끄러움 측정치를 도입한다.
• 임의의 ℓ_p 노름 p in [1,2]에 대해 자동 투영 경사 하강(Auto-Projected Gradient Descent, AFW 변형)을 사용하여 적대적 교란을 생성한다.
• 임의의 p에 대해 적대적 문제를 해결하면서 이미지 도메인 제약을 고려하는 일반적 최적화 프레임을 적용한다.
• 모델/데이터세트별로 제어된 공격 강도 ε를 사용하여 다수의 모델 아키텍처와 데이터세트에 걸친 희소성 및 매끄러움을 분석한다.

실험 결과

연구 질문

• RQ1 [1,2] 범위의 ℓ_p 노름 매개변수 p가 적대적 교란의 희소성에 어떤 영향을 미치는가?
• RQ2 ℓ_p 제약하에서 p가 교란의 매끄러움에 어떤 영향을 미치는가?
• RQ3 표준 선택인 p=1 또는 p=2가 중간 p 값에 비해 희소성/매끄움에 최적의 결과를 제공하는가?
• RQ4 최적의 p가 모델 아키텍처(CNN vs 트랜스포머)와 데이터세트에 의존하는가?
• RQ5 적대적 학습이 perturbations의 희소성 및 매끄러움에 어떤 영향을 주는가?

주요 결과

• 희소성은 대개 p가 약 1.3에 가까울 때 피크에 달하고, 매끄러움은 p가 증가함에 따라 상승하며 중간 범위 값에서 평형에 도달한다.
• 최적의 p 값은 모델 아키텍처에 따라 다르며, 합성곱 모델은 p가 약 1.3 근처에 군집하는 반면 트랜스포머는 더 큰 변동성과 일반적으로 더 높은 p 값을 보인다.
• 적대적 학습은 일반적으로 희소성을 감소시키며, 효과를 유지하기 위해 입력의 더 큰 부분에 영향을 주도록 요구한다.
• 여러 지표를 동시에 고려할 때 p=1도 p=2도 보편적으로 최적이지 않다.
• 약 1.3에서 1.5 범위의 p에 대한 달콤한 지점은 여러 설정에서 우수한 희소성-매끄러움 트레이드오프를 제공한다.
• 적대적 학습은 희소한 교란에 대해 강건성을 더 크게 증가시키는 것으로 보이며, 학습 후 희소성의 변화에서 이를 관찰할 수 있다.