[논문 리뷰] Fast and Reliable Evaluation of Adversarial Robustness with Minimum-Margin Attack

Ruize Gao, Jiongxiao Wang외 6명|arXiv (Cornell University)|2022. 06. 15.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 최소 마진(Minimum-Margin, MM) 공격을 제안하며, 이는 자동공격(AutoAttack, AA)과 비슷한 성능을 달성하면서도 계산 비용을 AA의 3%로 줄이는 빠르고 신뢰할 수 있는 적대적 로버스트니 평가 방법이다. 이는 가장 적대적인 예제를 식별하기 위해 최소 마진 기준을 활용하고, 클래스 수에 영향을 받지 않는 효율성을 보장하기 위해 순차적 타겟 랭킹 선택(Sequential Target Ranking Selection, STARS) 전략을 사용한다.

ABSTRACT

The AutoAttack (AA) has been the most reliable method to evaluate adversarial robustness when considerable computational resources are available. However, the high computational cost (e.g., 100 times more than that of the project gradient descent attack) makes AA infeasible for practitioners with limited computational resources, and also hinders applications of AA in the adversarial training (AT). In this paper, we propose a novel method, minimum-margin (MM) attack, to fast and reliably evaluate adversarial robustness. Compared with AA, our method achieves comparable performance but only costs 3% of the computational time in extensive experiments. The reliability of our method lies in that we evaluate the quality of adversarial examples using the margin between two targets that can precisely identify the most adversarial example. The computational efficiency of our method lies in an effective Sequential TArget Ranking Selection (STARS) method, ensuring that the cost of the MM attack is independent of the number of classes. The MM attack opens a new way for evaluating adversarial robustness and provides a feasible and reliable way to generate high-quality adversarial examples in AT.

연구 동기 및 목표

• 자신의 금리 기준으로 평가되는 적대적 로버스트니 평가의 표준인 자동공격(AutoAttack, AA)의 높은 계산 비용을 해결하기 위해, 자원 제약이 있는 환경에서의 활용을 제한하는 문제를 해결한다.
• 비싼 공격 앙상블에 의존하지 않고도 가장 적대적인 예제를 정확하게 식별할 수 있는 방법을 개발한다.
• 높은 품질의 적대적 예제를 생성하는 데 소요되는 시간을 줄여, 적대적 훈련(Adversarial Training, AT)에 효율적으로 통합할 수 있도록 한다.
• 실무자들이 사용할 수 있도록 정확하고 계산적으로 실현 가능한 스케일링 가능한 벤치마크를 제공한다.

제안 방법

• MM 공격는 진짜 클래스 점수와 나머지 모든 클래스 중 최고 점수 사이의 최소 마진을 최대화하여 가장 적대적인 예제를 식별한다.
• 효율적인 타겟 클래스 선택을 위해 순차적 타겟 랭킹 선택(Sequential Target Ranking Selection, STARS) 메커니즘을 도입하여, 클래스 수에 관계없이 계산 비용이 일정하게 유지되도록 한다.
• 특징 공간에서 가장 취약한 방향을 정확히 캡처하기 위해, 두 타겟 간의 마진을 사용하여 적대적 예제의 품질을 평가한다.
• 적대적 예제의 품질을 높이기 위해 적대적 공격 프레임워크를 사용하고, 적응형 스텝 크기와 반복적 정밀 조정을 적용한다.
• 강력한 적대적 예제를 생성할 잠재력이 높은 타겟 클래스들을 동적으로 랭킹하여 불필요한 계산을 줄인다.
• 기존 훈련 파ip라인과 호환되도록 설계되어, PGD를 최소한의 코드 수정으로 직접 교체할 수 있다.

실험 결과

연구 질문

• RQ1 단일이고 효율적인 공격 방법이 자동공격(AutoAttack)의 신뢰성과 동일한 성능을 달성할 수 있는가?
• RQ2 최소 마진 기준이 표준 손실 함수보다 더 정밀하고 안정적인 적대적 예제 품질 측정 기준을 제공하는가?
• RQ3 성능을 희생시키지 않고도 자동공격의 계산 비용을 일부로 줄일 수 있는가?
• RQ4 MM 공격는 RobustBench에 포함된 다양한 모델과 방어 기법(예: 방어 기법)에서도 효과적인가?
• RQ5 적대적 훈련에서 PGD를 MM 공격로 대체하면 모델의 로버스트니가 크게 향상되는가?

주요 결과

• MM 공격는 CIFAR-10, CIFAR-100, SVHN에서 자동공격(AA)과 유사한 적대적 로버스트니 정확도를 달성했으며, PGD, CW, FAB와 같은 개별 공격의 성공률를 matching하거나 초월했다.
• PGD-10로 훈련된 ResNet-18에서 MM3는 CIFAR-10에서 93.2%의 로버스트 정확도를 기록했으며, AA와 동일한 성능을 내면서도 계산 시간은 AA의 3%에 불과했다.
• T-AA(타겟된 자동공격)의 2%, 표준 AA의 3%로 계산 비용을 줄여, 자원이 제한된 실무자들과 대규모 훈련 환경에서도 활용 가능하게 했다.
• 적대적 훈련에서 PGD를 MM3-F20로 대체하면, CIFAR-10에서 로버스트 정확도가 91.8%에서 93.4%로 향상되어, 더 나은 적대적 예제 품질이 로버스트니 향상에 기여함을 입증했다.
• RobustBench의 12개 방어 기법과 6개의 $L_2$-노름 방어 기법 모두에서 뛰어난 성능을 유지하여 일반화 능력과 신뢰성을 입증했다.
• STARS 메커니즘은 클래스 수에 관계없이 공격 비용이 일정하게 유지되어, 대규모 분류 작업에 대한 확장성 확보에 기여했다.