[논문 리뷰] Finding Optimal Tangent Points for Reducing Distortions of Hard-label Attacks

Chen Ma, Xiangyu Guo외 3명|arXiv (Cornell University)|2021. 11. 15.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 하드 레이블 블랙박스 적대적 공격에서 기하학적으로 최적인 방법인 탄젠트 어택(Tangent Attack, TA)을 제안한다. 이 방법은 현재 적대적 예제 주변의 가상의 반구 위에서 최적의 탄젠트 점을 식별함으로써 ℓ2 왜곡을 최소화한다. 각 반복에서 결정 경계의 탄젠트 방향을 따라가므로, 이전의 쿼리 기반 방법들인 HSJA 및 Sign-OPT보다 훨씬 낮은 왜곡을 달성하며, ImageNet과 CIFAR-10에서 훨씬 적은 쿼리 수를 사용한다.

ABSTRACT

One major problem in black-box adversarial attacks is the high query complexity in the hard-label attack setting, where only the top-1 predicted label is available. In this paper, we propose a novel geometric-based approach called Tangent Attack (TA), which identifies an optimal tangent point of a virtual hemisphere located on the decision boundary to reduce the distortion of the attack. Assuming the decision boundary is locally flat, we theoretically prove that the minimum $\ell_2$ distortion can be obtained by reaching the decision boundary along the tangent line passing through such tangent point in each iteration. To improve the robustness of our method, we further propose a generalized method which replaces the hemisphere with a semi-ellipsoid to adapt to curved decision boundaries. Our approach is free of pre-training. Extensive experiments conducted on the ImageNet and CIFAR-10 datasets demonstrate that our approach can consume only a small number of queries to achieve the low-magnitude distortion. The implementation source code is released online at https://github.com/machanic/TangentAttack.

연구 동기 및 목표

• 단일 레이블만 제공되는 하드 레이블 블랙박스 공격에서 높은 쿼리 복잡도와 왜곡 문제를 해결한다.
• 기울기 기반 또는 무작위 탐색 방법과는 달리, 기하학적으로 최적의 경로를 사용하지 않는 기존 방법들(예: HSJA 및 Sign-OPT)의 한계를 극복한다.
• 결정 경계의 탄젠트 방향을 활용하여 ℓ2 왜곡을 최소화하는 쿼리 효율적이고 기하학적으로 기반한 공격을 개발한다.
• 제안된 G-TA 방법에서 반구를 반타원체로 일반화함으로써 곡선 결정 경계에 대한 강건성을 향상시킨다.
• 다양한 모델과 데이터셋에서 최소한의 쿼리 예산으로 최신 기술 수준의 성능을 입증한다.

제안 방법

• 결정 경계를 국소적으로 평평하게 근사화하는 기하학적 프레임워크를 제안하며, 최적의 공격 경로는 현재 적대적 예제 중심의 가상 반구 위의 탄젠트 선이다.
• 기존 이미지로부터 최소한의 ℓ2 왜곡을 유도하는 방향으로 결정 경계에 투영되는 최적의 반구 상의 탄젠트 점을 식별한다.
• 벡터 기하학을 사용하여 최적의 탄젠트 방향에 대한 닫힌 형태의 해를 유도하며, 원본 이미지와의 거리가 최소가 되도록 하면서도 적대적 오분류를 유지한다.
• 반구를 반타원체로 대체하여 곡선 경계에 일반화함으로써 비평평한 결정 경계에 더 잘 적응할 수 있도록 한다.
• 사전 훈련 없이, 타겟 모델의 레이블 쿼리만을 기반으로 구현하여 실세계 적용에 실용적이다.
• 반복적 정밀 조정을 사용한다: 각 단계에서 현재 반구 상의 탄젠트 점을 계산하고, 그 방향으로 변형량을 갱신하며, 모델을 쿼리하여 레이블 전환이 일어났는지 확인한다.

실험 결과

연구 질문

• RQ1 가상의 반구 위의 탄젠트 점 기반 기하학적 접근이 기울기 기반 또는 무작위 탐색 방법에 비해 하드 레이블 블랙박스 공격에서 ℓ2 왜곡을 줄일 수 있는가?
• RQ2 결정 경계에 도달할 때, 반구 상의 탄젠트 방향이 왜곡을 최소화하기 위한 최적의 경로인가?
• RQ3 결정 경계의 곡률이 변화할 경우 이 방법은 어떻게 성능을 보이며, 반타원체로 일반화함으로써 반구보다 더 강건한가?
• RQ4 기존의 쿼리 기반 공격들인 HSJA 및 Sign-OPT보다 훨씬 적은 쿼리로 비슷하거나 더 나은 공격 성공률을 달성할 수 있는가?
• RQ5 이 기하학적 최적화는 타겟 공격 및 비타겟 공격 설정에서 다양한 모델(예: ResNet, Inception, SENet)과 데이터셋(ImageNet, CIFAR-10)에 대해 효과적인가?

주요 결과

• 타겟 공격에서 ResNet-101에 대해 10,000개의 쿼리로 탄젠트 어택(TA)은 ImageNet에서 중앙값 ℓ2 왜곡 19.993을 달성하며, 이는 HSJA(23.838) 및 Sign-OPT(25.380)보다 현저히 낮다.
• CIFAR-10에서 TA는 PyramidNet-272에 대해 10,000개의 쿼리로 중앙값 ℓ2 왜곡 0.318을 달성하며, 이는 HSJA(0.325) 및 Sign-OPT(0.549)를 능가한다.
• 일반화된 탄젠트 어택(G-TA)는 모든 모델과 데이터셋에서 강력한 성능을 유지하며, 중앙값 왜곡이 TA와 유사하거나 그 이하로 일관되게 유지되어 곡선 결정 경계에 대한 강건성을 입증한다.
• ResNet-101에 대한 비타겟 공격에서 TA는 10,000개의 쿼리로 중앙값 왜곡 6.030을 달성하며, BA(58.924), Sign-OPT(6.808), HSJA(6.227)를 모두 능가한다.
• 동일한 모델에서 G-TA는 10,000개의 쿼리로 6.087의 왜곡을 기록하며, TA에 비해 최소한의 성능 저하를 보이며 동시에 경계 곡률에 더 강건하다.
• 모든 설정에서 TA 및 G-TA는 기준 방법들보다 더 적은 쿼리로 유사하거나 더 낮은 왜곡 수준에 도달할 수 있었으며, 이는 쿼리 효율성과 기하학적 최적성의 확립을 확인한다.