[논문 리뷰] Fast Minimum-norm Adversarial Attacks through Adaptive Norm Constraints

Maura Pintor, Fabio Roli외 2명|arXiv (Cornell University)|2021. 02. 25.

Adversarial Robustness in Machine Learning참고 문헌 27인용 수 14

한 줄 요약

이 논문은 최적화 과정에서 편향 제약 크기를 적응적으로 조정함으로써 ℓ₀, ℓ₁, ℓ₂, ℓ∞ 노름에서 최소 편향을 효율적으로 찾는 빠른 최소노름(FMN) 적대적 공격을 제안한다. FMN은 적은 수의 경량 단계로 수렴하며, 기존 공격들보다 속도와 편향 크기에서 뛰어난 성능을 보이며 정확도를 유지한다. 또한 적대적 초기화나 하이퍼파rameter 튜닝이 필요하지 않다.

ABSTRACT

Evaluating adversarial robustness amounts to finding the minimum perturbation needed to have an input sample misclassified. The inherent complexity of the underlying optimization requires current gradient-based attacks to be carefully tuned, initialized, and possibly executed for many computationally-demanding iterations, even if specialized to a given perturbation model. In this work, we overcome these limitations by proposing a fast minimum-norm (FMN) attack that works with different $\ell_p$-norm perturbation models ($p=0, 1, 2, \infty$), is robust to hyperparameter choices, does not require adversarial starting points, and converges within few lightweight steps. It works by iteratively finding the sample misclassified with maximum confidence within an $\ell_p$-norm constraint of size $ε$, while adapting $ε$ to minimize the distance of the current sample to the decision boundary. Extensive experiments show that FMN significantly outperforms existing attacks in terms of convergence speed and computation time, while reporting comparable or even smaller perturbation sizes.

연구 동기 및 목표

• 기존 최소노름 적대적 공격들이 광범위한 튜닝, 다수의 반복, 또는 적대적 초기화를 요구하는 비효율성과 민감성 문제를 해결하기 위해.
• 다양한 ℓₚ-노름 제약(p=0,1,2,∞)에 적용 가능한 통합적이고 빠르며 강건한 공격 방법을 개발하여 편향 품질을 희생시키지 않기 위해.
• 최신 기법들과 비교해 최소 편향 크기를 유지하거나 향상시키면서 계산 비용과 수렴 시간을 줄이기 위해.
• 다양한 방어 기법에 쉽게 적용할 수 있도록 유연하고 신뢰성 있고 안정적인 공격을 제공함으로써 더 신뢰할 수 있고 적응적인 강건성 평가를 가능하게 하기 위해.

제안 방법

• FMN은 반복적으로 두 단계를 수행한다: (1) 현재 ℓₚ-노름 제약 크기 ε 내에서 오차를 최대화하는 방향으로 현재 편향을 투영하고, (2) 결정 경계까지의 거리를 최소화하기 위해 ε를 적응적으로 조정한다.
• 알고리즘은 기울기 기반 업데이트를 사용하여 국소 모델 행동을 추정하고, 현재 ε 제약 하에서 최적의 편향을 계산한다.
• 다음 반복에서 ε를 동적으로 감소시켜 최소 노름 적대적 예제로 해를 향해 유도함으로써, 상충 관계를 가지는 하이퍼파rameter가 필요 없도록 한다.
• 초기 적대적 점에 종속되지 않도록 설계되어 청소년 입력에서 강건한 수렴을 가능하게 한다.
• 고정된 ℓ₂ 제약을 적응적인 ℓₚ 투영으로 대체함으로써 DDN 공격을 여러 ℓₚ 노름으로 일반화한다.
• 투영-기반 방법의 속도와 경계 따라가기 전략의 최적성 특성을 결합하여 높은 효율성과 정확도를 달성한다.

실험 결과

연구 질문

• RQ1 적대적 초기화가 필요 없이 다양한 ℓₚ-노름에서 동시에 빠르고 효과적인 최소노름 적대적 공격을 설계할 수 있는가?
• RQ2 고정된 ε 또는 소프트 제약 방법과 비교해, 제약 크기의 적응적 조정이 수렴 속도와 편향 품질에 어떻게 기여하는가?
• RQ3 FMN은 최소 편향 크기, 계산 시간, 하이퍼파rameter 선택에 대한 강건성 측면에서 기존 공격들보다 어느 정도 뛰어나게 성능을 발휘하는가?
• RQ4 FMN은 기울기 차단 현상을 보이는 강력한 모델에 효과적으로 적용될 수 있으며, 이러한 환경에서 최신 기법들과 비교해 어떻게 성능을 발휘하는가?

주요 결과

• FMN은 기존 ℓ₀, ℓ₁, ℓ∞-노름 공격들보다 훨씬 더 빠른 수렴 속도와 낮은 계산 시간을 달성하여, 쿼리당 최대 3배까지 런타임을 단축시킨다.
• 모든 테스트된 ℓₚ-노름, 특히 ℓ₂와 ℓ∞에서 최신 기법들과 비교해 더 작은 또는 유사한 최소 편향을 찾는다. 강력한 모델에서도 동일한 성능을 유지한다.
• 하이퍼파ram터 선택에 대해 강건하며, 적대적 초기화가 필요 없어 신뢰성과 사용성 향상에 기여한다.
• CW나 BB, FAB와 같은 소프트 제약 공격보다 반복 수를 적게 사용하면서도 높은 정확도를 유지한다.
• ℓ₂-노름 공격의 경우, 최고의 기존 기법들과 유사한 성능을 보이며, 널리 사용되는 이 설정에서 강력한 경쟁력을 입증한다.
• 새로운 방어 기법에 쉽게 확장 가능하며, 동적이고 PGD 유사한 구조 덕분에 적응적 강건성 평가에 유용하다.