[논문 리뷰] Sparse and Imperceptible Adversarial Attack via a Homotopy Algorithm

Mingkang Zhu, Tianlong Chen외 1명|arXiv (Cornell University)|2021. 06. 10.

Adversarial Robustness in Machine Learning참고 문헌 34인용 수 7

한 줄 요약

이 논문은 비볼록 프로그래밍을 위한 비단조화 가속 근처 경사법(nonmonotone accelerated proximal gradient methods)을 사용하여, 적대적 공격에서 희박성(ℓ₀ 노름)과 인지 불가능성(ℓ∞ 노름)을 동시에 최적화하는 호모토피 알고리즘을 제안한다. 이는 엄격한 편향 제약 조건 하에서도 100% 공격 성공률를 유지하면서 CIFAR-10에서 42.91%, ImageNet에서 75.03%의 편향 감소를 달성하여 최신 기술 수준의 희박성을 확보한다.

ABSTRACT

Sparse adversarial attacks can fool deep neural networks (DNNs) by only perturbing a few pixels (regularized by l_0 norm). Recent efforts combine it with another l_infty imperceptible on the perturbation magnitudes. The resultant sparse and imperceptible attacks are practically relevant, and indicate an even higher vulnerability of DNNs that we usually imagined. However, such attacks are more challenging to generate due to the optimization difficulty by coupling the l_0 regularizer and box constraints with a non-convex objective. In this paper, we address this challenge by proposing a homotopy algorithm, to jointly tackle the sparsity and the perturbation bound in one unified framework. Each iteration, the main step of our algorithm is to optimize an l_0-regularized adversarial loss, by leveraging the nonmonotone Accelerated Proximal Gradient Method (nmAPG) for nonconvex programming; it is followed by an l_0 change control step, and an optional post-attack step designed to escape bad local minima. We also extend the algorithm to handling the structural sparsity regularizer. We extensively examine the effectiveness of our proposed homotopy attack for both targeted and non-targeted attack scenarios, on CIFAR-10 and ImageNet datasets. Compared to state-of-the-art methods, our homotopy attack leads to significantly fewer perturbations, e.g., reducing 42.91% on CIFAR-10 and 75.03% on ImageNet (average case, targeted attack), at similar maximal perturbation magnitudes, when still achieving 100% attack success rates. Our codes are available at: https://github.com/VITA-Group/SparseADV_Homotopy.

연구 동기 및 목표

• ℓ₀ 희박성과 ℓ∞ 편향 제약 조건을 동시에 만족하는 희박하고 인지 불가능한 적대적 공격을 생성하는 데 도전하는 것.
• 상자 제약 조건이 있는 ℓ₀ 정규화된 적대적 손실의 비볼록성 및 비미분 가능성으로 인해 발생하는 최적화 곤란 문제를 해결하는 것.
• 느린 수렴, 국소 최소값, 유연하지 못한 희박성 제어로 인해 약화되는 기존 방법들을 개선하는 것.
• 더 나은 해석 가능성과 타겟팅 능력을 위해 픽셀 수준과 그룹 수준의 희박성을 모두 가능하게 하는 것.
• 희박성, 인지 불가능성, 공격 성공률를 균형 잡는 강력하고 효율적인 프레임워크를 개발하는 것.

제안 방법

• 비볼록 프로그래밍을 위한 비단조화 가속 근처 경사법(nonmonotone Accelerated Proximal Gradient, nmAPG)를 사용하여, 반복적으로 ℓ₀ 정규화된 적대적 손실을 최적화하는 호모토피 프레임워크를 사용한다.
• 각 반복 단계에서 업데이트되는 픽셀 수를 제한하기 위해 ℓ₀ 변화 제어 단계를 포함하여 희박성 제어를 보장한다.
• 국소 최소값을 벗어나고 편향 품질을 향상시키기 위해 선택적 후처리 공격 단계를 도입한다.
• 공간적 또는 의미적 특징을 기반으로 그룹을 정의하여, 구조적(그룹 기반) 희박성을 다룰 수 있도록 알고리즘을 확장한다.
• ℓ₀ 희박성과 ℓ∞ 노름 제약 조건을 동시에 강제하여, 최소한의 픽셀 변화와 인지 불가능한 편향을 보장한다.
• 반복적 재가중 또는 하이퍼파rameter에 대한 이분법 검색을 피함으로써, MIP 기반 방법인 SAPF 및 StrAttack보다 효율성을 향상시킨다.

실험 결과

연구 질문

• RQ1 통합 최적화 프레임워크가 적대적 공격에서 ℓ₀ 희박성과 ℓ∞ 인지 불가능성을 효과적으로 균형 잡을 수 있는가?
• RQ2 제안된 호모토피 알고리즘이 최신 기술 수준의 방법과 비교하여 희박성과 공격 성공률 측면에서 어떻게 성능을 내는가?
• RQ3 ℓ₀ 변화 제어와 후처리 공격 단계가 수렴성과 희박성 향상에 얼마나 기여하는가?
• RQ4 고도로 구조화된 희박성(그룹 기반)으로 일반화할 수 있으며, 높은 공격 성공률와 낮은 편향 노름을 유지하는가?
• RQ5 기존 방법들과 비교해 대규모 데이터셋인 ImageNet에서 알고리즘이 어떻게 성능을 내는가?

주요 결과

• 제안된 호모토피 공격는 최신 기술 수준의 방법과 비교해 CIFAR-10에서 평균 ℓ₀ 노름을 42.91% 감소시키고, ImageNet(타겟 공격)에서는 75.03% 감소시키며, 엄격한 ℓ∞ 제약 조건 하에서도 100%의 공격 성공률를 유지한다.
• ImageNet에서, 이 방법은 유사한 ℓ∞ 제약 조건 하에서 평균 ℓ₀ 노름 2,889를 기록했으며, nmAPG는 13,582, Pure-Homotopy는 16,343였다.
• 알고리즘은 CIFAR-10에서 6.88%의 그룹 기반 희박성, ImageNet에서 2.05%의 그룹 기반 희박성을 달성하여, 최소한의 편향으로 높은 구조적 희박성을 보였다.
• SAPF 및 StrAttack보다 훨씬 빠른 성능을 보였으며, ImageNet에서 516.57초를 소요한 데 비해 StrAttack는 2,242.78초가 소요되었다.
• 시각화 결과는 그룹 기반 희박성이 분류 기반 활성화 맵(CAM)으로 확인된 특징적인 객체 영역에 집중된 편향을 유도함을 보여주었다.
• 선택적 후처리 공격 단계는 국소 최소값을 효과적으로 벗어나 희박성과 강건성을 향상시켰으며, 특히 고도의 희박성 영역에서 두드러진 효과를 보였다.