[논문 리뷰] Practical Evaluation of Adversarial Robustness via Adaptive Auto Attack

Liu Ye, Yaya Cheng외 4명|arXiv (Cornell University)|2022. 03. 10.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 적대적 방어 모델의 적대적 내성 평가를 위한 파라미터가 없고 효율적이며 신뢰할 수 있는 방법인 적응형 오토 어택(A3)을 제안한다. 수렴 속도를 높이기 위해 적응형 방향 초기화를 사용하고, 쉽게 공격 가능한 샘플을 우선적으로 처리하기 위해 온라인 통계 기반 폐기 전략을 도입함으로써 A3는 이전 방법 대비 10배 빠른 속도로 상당히 낮은 내성 정확도를 달성했으며, 총 1,681개 팀이 참가한 CVPR 2021 화이트박스 어택 경쟁에서 1위를 차지했다.

ABSTRACT

Defense models against adversarial attacks have grown significantly, but the lack of practical evaluation methods has hindered progress. Evaluation can be defined as looking for defense models' lower bound of robustness given a budget number of iterations and a test dataset. A practical evaluation method should be convenient (i.e., parameter-free), efficient (i.e., fewer iterations) and reliable (i.e., approaching the lower bound of robustness). Towards this target, we propose a parameter-free Adaptive Auto Attack (A$^3$) evaluation method which addresses the efficiency and reliability in a test-time-training fashion. Specifically, by observing that adversarial examples to a specific defense model follow some regularities in their starting points, we design an Adaptive Direction Initialization strategy to speed up the evaluation. Furthermore, to approach the lower bound of robustness under the budget number of iterations, we propose an online statistics-based discarding strategy that automatically identifies and abandons hard-to-attack images. Extensive experiments demonstrate the effectiveness of our A$^3$. Particularly, we apply A$^3$ to nearly 50 widely-used defense models. By consuming much fewer iterations than existing methods, i.e., $1/10$ on average (10$ imes$ speed up), we achieve lower robust accuracy in all cases. Notably, we won $ extbf{first place}$ out of 1681 teams in CVPR 2021 White-box Adversarial Attacks on Defense Models competitions with this method. Code is available at: $\href{https://github.com/liuye6666/adaptive_auto_attack}{https://github.com/liuye6666/adaptive\_auto\_attack}$

연구 동기 및 목표

• 방어 모델의 적대적 내성 평가를 위한 실용적이고 효율적이며 신뢰할 수 있는 방법의 부족을 해결하기 위해.
• 특히 출력 공간에서 공격 초기화에 사용되는 기존의 무작위 샘플링 전략의 한계를 규명하기 위해.
• 내성 정확도 하한 추정에 손해를 입히지 않으면서 반복 횟수를 줄여 평가 효율성을 향상시키기 위해.
• 어려운 공격 대상 이미지를 조기에 동적으로 폐기하여 신뢰성을 향상시키기 위해.
• 실제 어택 예산을 고려한 방어 모델 간 비교를 위한 실용적인 벤치마킹 도구를 제공하기 위해.

제안 방법

• 특정 방어 모델에 대해 적대적 예제의 방향 편향을 출력 공간에서 관찰하고, 이를 바탕으로 무작위 샘플링보다 더 나은 시작점을 생성하는 적응형 방향 초기화(ADI)를 제안한다.
• 첫 번째 재시작 동안 모델 고유의 방향 패턴을 기록하는 관측기(observer)를 도입하여 이후 초기화를 안내한다.
• 손실 추세를 기반으로 하드한 공격 대상 이미지를 조기에 식별하고 폐기하는 온라인 통계 기반 폐기(online statistics-based discarding, OSD) 전략을 도입한다.
• 남은 반복 횟수를 더 쉽게 공격 가능한 이미지에 균일하게 할당하여 예산 제약 조건 하에 성공한 공격 수를 최대화한다.
• ADI와 OSD를 통합한 프레임워크 A3를 구축하여 테스트 시점 학습을 수행하되, 하이퍼파라미터가 전혀 필요하지 않다.
• A3 프레임워크 내에서 PGD 및 I-FGSM과 같은 반복적 어택을 활용하며, 적응형 초기화와 동적 자원 할당을 통해 성능을 향상시킨다.

Figure 1 : Quantitative statistical results of the diversified direction $\boldsymbol{w}_{\boldsymbol{d}}$ of adversarial examples on 11 models. The diversified direction $\boldsymbol{w}_{\boldsymbol{d}}$ for all models disobey uniform distribution.

실험 결과

연구 질문

• RQ1 특정 방어 모델에 대해 적대적 예제의 시작 방향이 규칙성을 보이나, 특히 출력 공간에서?
• RQ2 출력 공간에서 모델 고유의 방향 편향을 활용하여 공격 초기화 효율을 향상시킬 수 있는가?
• RQ3 모든 이미지에 동일한 반복 횟수를 할당하는 단순한 전략이 내성 평가에 있어 최적의 전략이 아닌가?
• RQ4 온라인 손실 통계를 활용하여 어려운 공격 대상 이미지를 조기에 식별하고 폐기함으로써 평가 효율성과 신뢰성을 향상시킬 수 있는가?
• RQ5 파라미터가 없는 적응형 평가 방법이 기존 베이스라인 대비 속도와 내성 정확도 하한 추정 모두에서 슈퍼어리어어를 달성할 수 있는가?

주요 결과

• A3는 평균적으로 10배의 속도 향상을 달성하여, 이전 방법 대비 반복 횟수의 1/10만으로 모든 평가 케이스에서 더 낮은 내성 정확도를 확보했다.
• CVPR 2021 화이트박스 방어 모델에 대한 적대적 어택 경쟁에서 A3는 총 1,681개 팀 중 1위를 차지했으며, 최종 점수는 51.10%였다.
• ADI 구성요소는 무작위 초기화 대비 내성 정확도를 최대 0.28% 향상시켜 공격 품질 향상의 효과를 입증했다.
• OSD 전략은 Feature Scatter 방어 모델에서 내성 정확도를 최대 18.30% 향상시켜 신뢰성 향상의 뚜렷한 성과를 보였다.
• 평균적으로 A3는 기존 베이스라인 대비 내성 정확도를 0.18–0.28% 향상시켜 평가의 신뢰성을 높였다.
• CIFAR-10 및 ImageNet 데이터셋에서 널리 사용되는 49개의 방어 모델 전반에 걸쳐 A3는 모든 기준에서 기존 베이스라인을 뛰어넘는 성능을 보였다.

Figure 2 : Quantitative statistical results of loss percentile of easy-to-attack images. As the number of iterations increases, the loss percentile of easy-to-attack images continually decrease.