[논문 리뷰] Benchmarking Adversarial Robustness

Yinpeng Dong, Qian Fu외 5명|arXiv (Cornell University)|2019. 12. 26.

Adversarial Robustness in Machine Learning참고 문헌 22인용 수 21

한 줄 요약

이 논문은 다양한 위협 모델을 통해 이미지 분류기의 적대적 견고성 평가를 위한 종합적인 벤치마크를 수립한다. 두 가지 견고성 곡선을 사용하여 평가한다. PGD 기반 적대적 훈련이 가장 견고한 모델을 만들어내며, 랜덤화 기반 방어 기법은 블랙박스 쿼리 공격에 뛰어난 성능을 보이며, 이행성은 모델 규모와 공격 방법에 따라 크게 달라진다.

ABSTRACT

Deep neural networks are vulnerable to adversarial examples, which becomes one of the most important research problems in the development of deep learning. While a lot of efforts have been made in recent years, it is of great significance to perform correct and complete evaluations of the adversarial attack and defense algorithms. In this paper, we establish a comprehensive, rigorous, and coherent benchmark to evaluate adversarial robustness on image classification tasks. After briefly reviewing plenty of representative attack and defense methods, we perform large-scale experiments with two robustness curves as the fair-minded evaluation criteria to fully understand the performance of these methods. Based on the evaluation results, we draw several important findings and provide insights for future research.

연구 동기 및 목표

• 이미지 분류기의 적대적 견고성 평가를 위한 철저하고 종합적인 벤치마크를 수립하기 위해.
• 이전의 적대적 견고성 연구에서 관찰된 평가 방법의 불완전성과 일관성 부족 문제를 해결하기 위해.
• 화이트박스, 전이 기반, 스코어 기반, 결정 기반 공격을 포함한 완전한 위협 모델에서 최신 공격 및 방어 방법을 비교하기 위해.
• 편향 없는, 재현 가능한 평가 기준을 제공하기 위해, 다양한 편집 예산과 공격 유형에 따른 견고성 곡선을 사용하기 위해.
• 다양한 방어 기법의 상대적 강점과 일반화 성질에 대한 통찰을 제공하기 위해.

제안 방법

• 저자들은 CIFAR-10과 ImageNet에서 15개의 공격 방법과 16개의 방어 모델을 대규모로 교차 평가할 수 있도록 새로운 적대적 견고성 플랫폼을 개발했다.
• 공정한 비교를 위해 주요 평가 지표로 두 가지 견고성 곡선을 사용했다: 정확도 대 편집 예산 곡선과 정확도 대 공격 강도(쿼리 수) 곡선.
• 실험은 네 가지 위협 모델 유형에서 수행되었으며, 비타겟/타겟 공격, ℓ∞ 및 ℓ2 노름, 화이트박스, 전이 기반, 스코어 기반, 결정 기반 설정을 포함한다.
• 벤치마크에는 PGD 기반 적대적 훈련, TRADES, 랜덤화(R&P, RandMix), 입력 변환(JPEG, Bit-Red), 방어적 딜리게이션 등 다양한 방어 기법이 포함되어 있다.
• 모든 평가 작업은 완전한 위협 모델 하에서 수행되었으며, 일부 설정에서는 견고성 보장을 주장하지 않는 방어 기법들 역시 포함되어 있어 종합적인 평가를 보장했다.
• 이 플랫폼는 CleverHans와 Foolbox와 같은 기존 도구들이 이벤트의 범위를 충분히 지원하지 못하는 한계를 극복하기 위해 설계되었다.

실험 결과

연구 질문

• RQ1 다양한 편집 예산과 공격 반복 수에 따라 다양한 방어 기법의 견고성은 어떻게 비교될 수 있는가?
• RQ2 일부 위협 모델(예: ℓ∞ 및 ℓ2 노름, 화이트박스 및 블랙박스 설정) 간에 방어의 견고성이 일반화되는가?
• RQ3 MIM 및 DIM과 같은 최신 공격 기법은 CIFAR-10보다 ImageNet에서 더 뛰어난 전이성을 보이는 이유는 무엇인가?
• RQ4 왜 랜덤화 기반 방어 기법은 쿼리 기반 블랙박스 공격에 뛰어난 성능을 보이는가?
• RQ5 입력 변환 기반 방어 기법은 얼마나 견고성을 향상시키며, 다른 방어 기법과 효과적으로 조합될 수 있는가?

주요 결과

• 방어 기법 간의 상대적 견고성은 편집 예산이나 반복 수와 같은 공격 매개변수에 따라 크게 달라지므로, 단일 설정에서의 비교는 오해를 낳을 수 있다.
• PGD 기반 적대적 훈련은 가장 견고한 모델을 생성하며, 훈련 중에 사용하지 않은 위협 모델, 예를 들어 ℓ∞ 기반 훈련에서 ℓ2 공격에 대해 일반화된 견고성을 보인다.
• 랜덤화 기반 방어 기법(R&P, RandMix 등)은 출력이 예측 불가능하여 기울기 추정을 방해함으로써 스코어 기반 및 결정 기반 블랙박스 공격에 매우 효과적이다.
• ImageNet에서는 MIM 및 DIM과 같은 최신 공격 기법이 BIM보다 전이성에서 뛰어나며, 이는 고차원 입력에서의 대체 모델에 대한 과적합이 줄어들기 때문이다.
• JPEG 및 Bit-Red와 같은 입력 변환 기반 방어 기법은 쿼리 기반 공격에 특히 효과적이며, 보통의 견고성 향상을 제공하며, 간단하여 다른 방어 기법과 효과적으로 조합될 수 있다.
• BIM의 경우, CIFAR-10에서 ImageNet보다 전이성이 낮다. 이는 BIM이 더 작은, 저차원 데이터셋에서 대체 모델에 과적합될 수 있음을 시사한다.