[논문 리뷰] Adversarial Attack on Attackers: Post-Process to Mitigate Black-Box Score-Based Query Attacks

Sizhe Chen, Zhehao Huang외 4명|arXiv (Cornell University)|2022. 05. 24.

Adversarial Robustness in Machine Learning인용 수 10

한 줄 요약

이 논문은 모델 로짓을 적대적으로 조작하여 공격자가 잘못된 공격 방향으로 이끌리게 하는 후처리 방어 기법 AAA를 제안한다. 이는 스코어 기반 쿼리 공격(SQAs)을 혼란스럽게 하여, 공격자가 손실 감소 경향을 관찰하는 데 의존하도록 만든다. 손실 곡선을 설계하여 SQAs의 탐욕적 최적화를 속이는데, 예를 들어 진동하거나 급격히 감소하는 손실 곡선을 사용한다. CIFAR-10에서 Square 공격(2500회 쿼리)에 대해 81.36%의 강건한 정확도를 달성하며, 적대적 훈련(67.44%)을 능가한다. 또한 청소 정확도를 유지하면서 캘리브레이션을 향상시키고, 추론 오버헤드를 최소화한다.

ABSTRACT

The score-based query attacks (SQAs) pose practical threats to deep neural networks by crafting adversarial perturbations within dozens of queries, only using the model's output scores. Nonetheless, we note that if the loss trend of the outputs is slightly perturbed, SQAs could be easily misled and thereby become much less effective. Following this idea, we propose a novel defense, namely Adversarial Attack on Attackers (AAA), to confound SQAs towards incorrect attack directions by slightly modifying the output logits. In this way, (1) SQAs are prevented regardless of the model's worst-case robustness; (2) the original model predictions are hardly changed, i.e., no degradation on clean accuracy; (3) the calibration of confidence scores can be improved simultaneously. Extensive experiments are provided to verify the above advantages. For example, by setting $\ell_\infty=8/255$ on CIFAR-10, our proposed AAA helps WideResNet-28 secure 80.59% accuracy under Square attack (2500 queries), while the best prior defense (i.e., adversarial training) only attains 67.44%. Since AAA attacks SQA's general greedy strategy, such advantages of AAA over 8 defenses can be consistently observed on 8 CIFAR-10/ImageNet models under 6 SQAs, using different attack targets, bounds, norms, losses, and strategies. Moreover, AAA calibrates better without hurting the accuracy. Our code is available at https://github.com/Sizhe-Chen/AAA.

연구 동기 및 목표

• 모델 출력 스코어만을 이용하는 실용적이고 쿼리 효율적인 스코어 기반 쿼리 공격(SQAs)의 증가하는 위협을 해결하기 위해.
• 청소 정확도를 떨어뜨리거나 모델 재훈련이 필요로 하지 않으면서, 사전 훈련된 모델에 즉시 적용 가능한 플러그인 방식의 방어 기법을 개발하기 위해.
• 출력 스코어에서 관찰되는 손실 경향을 조작하여 공격자를 오도시키면서 동시에 모델의 캘리브레이션을 향상시키기 위해.
• 입력 전처리나 동적 추론에 의존하지 않고, 사용자 친화적이고 테스트 시점에만 적용 가능한 방어 기법을 제공하기 위해.

제안 방법

• SQAs가 손실 감소를 관찰하는 데 의존하므로, 손실 감소 경향이 잘못된 방향으로 보이도록 로짓을 최적화하여 후처리한다.
• 사인 함수나 단계적 함수를 사용해 목표 손실 곡선을 설계하여, 예를 들어 급격한 감소나 진동하는 손실 경향을 만들어 내어 공격자를 오도시킨다.
• 정확도에 미치는 영향을 최소화하면서도, 사인 함수나 조각별 선형 함수로 정의된 목표 손실 곡선을 근사하도록 로짓을 최적화한다.
• 청소 예측에 미치는 영향을 최소화하면서도, 소수의 반복(예: 60–80회)으로 로짓에 대해 미분 가능 최적화를 수행하여 방어 효과와 추론 비용의 균형을 이룬다.
• 캘리브레이션을 후처리 단계에 통합하여, 청소 정확도를 훼손하지 않으면서 기대 캘리브레이션 오차(ECE)를 감소시킨다.
• 모델 아키텍처나 훈련 과정에 변화 없이, 테스트 시점에 즉시 적용 가능한 플러그 앤 플레이 방식으로 방어를 통합한다.

실험 결과

연구 질문

• RQ1 관찰된 손실 경향을 조작함으로써 후처리 방어 기법이 스코어 기반 쿼리 공격을 효과적으로 오도시킬 수 있는가?
• RQ2 이러한 방어 기법이 재훈련 없이도 청소 정확도를 유지하면서 캘리브레이션을 향상시킬 수 있는가?
• RQ3 비적응형 및 적응형 SQAs, 특히 이중 방향 및 반대 방향 탐색 전략에 대해 이 방어 기법은 얼마나 효과적인가?
• RQ4 이 방어 기법은 다양한 모델, 데이터셋, 공격 유형, 하이퍼파라미터(예: 노름, 손실 함수) 등에 대해 일반화되는가?
• RQ5 실제 응용에서 런타임 오버헤드를 최소화하면서 효율적으로 구현 가능한가?

주요 결과

• ℓ∞ = 8/255 조건에서 CIFAR-10에서 Square 공격(2500회 쿼리)에 대해 AAA는 81.36%의 강건한 정확도를 달성하며, 적대적 훈련(67.44%)을 크게 능가한다.
• 캘리브레이션은 유지 또는 향상되어, 80회의 최적화 반복 후 기대 캘리브레이션 오차(ECE)가 기준값(3.52%)에서 2.53%로 감소한다.
• 비적응형 공격인 bi-Square와 op-Square와 같은 적응형 공격에 대해서도 AAA-sine는 각각 76.69%와 76.41%의 강건한 정확도를 유지하여 전략 역공학에 대한 강건성을 입증한다.
• 8개의 모델(CIFAR-10/ImageNet), 6종의 SQAs, 다양한 공격 설정에서 효과적이며, 강력한 일반화 능력을 보였다.
• 60–80회의 반복으로 최적화를 수행하면, 샘플당 추론 시간이 0.15ms만 증가하여 81.37%의 근사 최적 강건성 정확도를 달성한다.
• 사인 함수 기반 손실 곡선을 사용하는 AAA-sine는 손실 변화에서 명확한 방향성 신호를 제거하여 비적응형 및 적응형 공격자 양쪽을 효과적으로 오도시킨다.