[논문 리뷰] Adversarial Example Games

Avishek Joey Bose, Gauthier Gidel외 5명|arXiv (Cornell University)|2020. 07. 01.

Adversarial Robustness in Machine Learning참고 문헌 79인용 수 12

한 줄 요약

이 논문은 주어진 가설 클래스 내의 어떤 분류기라도 효과적으로 공격할 수 있는 이행 가능한 적대적 예제를 생성하도록 훈련하는 min-max 게임 프레임워크인 적대적 예제 게임(AEG)을 소개한다. 이론적으로는 최적의 악성 사례를 생성하는 균형에 수렴함을 증명하였으며, 이는 최악의 상황에서의 적대적 예제를 생성한다. AEG는 비상호작용 블랙박스 설정에서 MNIST와 CIFAR-10에서 각각 평균 29.9% 및 47.2% 향상된 최첨단 성능을 달성한다.

ABSTRACT

The existence of adversarial examples capable of fooling trained neural network classifiers calls for a much better understanding of possible attacks to guide the development of safeguards against them. This includes attack methods in the challenging non-interactive blackbox setting, where adversarial attacks are generated without any access, including queries, to the target model. Prior attacks in this setting have relied mainly on algorithmic innovations derived from empirical observations (e.g., that momentum helps), lacking principled transferability guarantees. In this work, we provide a theoretical foundation for crafting transferable adversarial examples to entire hypothesis classes. We introduce Adversarial Example Games (AEG), a framework that models the crafting of adversarial examples as a min-max game between a generator of attacks and a classifier. AEG provides a new way to design adversarial examples by adversarially training a generator and a classifier from a given hypothesis class (e.g., architecture). We prove that this game has an equilibrium, and that the optimal generator is able to craft adversarial examples that can attack any classifier from the corresponding hypothesis class. We demonstrate the efficacy of AEG on the MNIST and CIFAR-10 datasets, outperforming prior state-of-the-art approaches with an average relative improvement of $29.9\%$ and $47.2\%$ against undefended and robust models (Table 2 & 3) respectively.

연구 동기 및 목표

• 공격자가 대상 모델에 접근할 수 없는 비상호작용 블랙박스(NoBox) 적대적 공격에 대한 이론적 기초가 부족한 문제를 해결한다.
• 분류기의 전체 가설 클래스에 걸쳐 이행 가능한 적대적 예제를 생성할 수 있는 체계적인 프레임워크를 개발한다.
• 게임에서 최적의 적대적 분포가 가설 클래스 내에서 가장 속임을 잘 당하지 않는 분류기들에 효과적임을 이론적으로 보장한다.
• 공격자와 분류기를 동시에 강화하는 적대적 게임 동역학을 통해 훈련 절차를 설계한다.
• 표준 모델과 강건한 모델을 모두 공격할 때 히وري스틱한 NoBox 방법들보다 경험적으로 뛰어난 성능을 입증한다.

제안 방법

• 적대적 예제 생성을 생성기(적대적 예제를 생성함)와 분류기(적대적 입력에 대한 레이블을 탐지함) 사이의 min-max 게임으로 공식화한다.
• 적대적 예제에 대한 표준 다중 클래스 분류 손실을 사용하여, GAN 스타일의 식별 작업이 아닌 게임을 정의한다.
• AEG 프레임워크에서 나시 균형(Nash equilibrium)의 존재를 증명하며, 이는 최적의 생성기가 가설 클래스 내의 어떤 분류기라도 효과적으로 공격할 수 있는 적대적 예제를 생성함을 의미한다.
• 최적의 적대적 분포가 대상 데이터셋에 대해 제약 조건이 있는 조건부 엔트로피를 최대화함을 보여주어 이론적 특성화를 제공한다.
• 생성기와 분류기 양쪽에 신경망을 사용하여 게임을 구현하고, 기울기 기반 최적화를 통해 엔드 투 엔드로 훈련한다.
• 균형 상태의 생성기를 사용하여, 알려지지 않은 아키텍처와 강건한 모델 간의 이행성을 평가할 수 있는 적대적 예제를 생성한다.

실험 결과

연구 질문

• RQ1 게임 이론적 프레임워크는 비상호작용 블랙박스 설정에서 이행 가능한 적대적 예제를 체계적이고 이론적으로 탄탄한 방법으로 생성할 수 있는가?
• RQ2 이러한 게임의 나시 균형은 가설 클래스 내에서 가장 강건한 분류기들에 효과적인 적대적 예제를 제공하는가?
• RQ3 최적의 적대적 분포는 조건부 엔트로피와 같은 정보이론적 양과 어떻게 관련이 있는가?
• RQ4 이러한 게임 프레임워크에서의 적대적 훈련은 히وري스틱한 NoBox 방법들보다 공격 성능을 향상시킬 수 있는가?
• RQ5 AEG 프레임워크는 얼마나 강건하게 훈련된 모델과 알려지지 않은 아키텍처로도 이행 가능한 적대적 예제를 생성할 수 있는가?

주요 결과

• AEG 프레임워크는 보장된 나시 균형을 가지며, 이는 최적의 적대적 예제 분포의 존재를 보장한다.
• AEG의 최적 생성기는 주어진 가설 클래스 내의 어떤 분류기라도 효과적으로 공격할 수 있는 적대적 예제를 생성하며, 이는 최악의 상황에서의 공격 보장을 제공한다.
• MNIST에서는 비상호작용 블랙박스 공격에서 이전 최첨단 기법 대비 평균 29.9% 향상된 성능을 달성한다.
• CIFAR-10에서는 보호되지 않은 모델과 강건한 모델 공격 모두에서 이전 최첨단 기법 대비 평균 47.2% 향상된 성능을 달성한다.
• 이 프레임워크는 다양한 아키텍처와 강건한 모델 간에 일반화되는 이행 가능한 적대적 예제를 성공적으로 생성한다.
• 최적의 적대적 분포가 제약 조건이 있는 조건부 엔트로피의 한 형태를 최대화함을 입증하여, 게임의 해가 정보이론적 원리와 연결됨을 보여준다.