[논문 리뷰] Machine vs Machine: Minimax-Optimal Defense Against Adversarial Examples

Jihun Hamm, Mehra, Akshay|arXiv (Cornell University)|2017. 11. 12.

Adversarial Robustness in Machine Learning참고 문헌 27인용 수 4

한 줄 요약

이 논문은 공격자와 방어자 간의 두 명의 플레이어로 구성된 연속적 0-합 게임으로서 적대적 예제 방어 문제를 공식화하며, 기울기 기반 및 신경망 기반 공격에 대비한 강력한 분류기 확보를 위한 최소최대 최적화 프레임워크를 제안한다. MNIST 및 CIFAR-10에서의 실험 결과, 최소최대 최적화된 방어 방법이 비최소최대 방어 방법보다 강건성을 뛰어나게 보이며, 적응형 공격자에 대비한 게임 이론적 접근의 우수성을 입증한다.

ABSTRACT

Recently, researchers have discovered that the state-of-the-art object classifiers can be fooled easily by small perturbations in the input unnoticeable to human eyes. It is also known that an attacker can generate strong adversarial examples if she knows the classifier parameters. Conversely, a defender can robustify the classifier by retraining if she has access to the adversarial examples. We explain and formulate this adversarial example problem as a two-player continuous zero-sum game, and demonstrate the fallacy of evaluating a defense or an attack as a static problem. To find the best worst-case defense against whitebox attacks, we propose a continuous minimax optimization algorithm. We demonstrate the minimax defense with two types of attack classes -- gradient-based and neural network-based attacks. Experiments with the MNIST and the CIFAR-10 datasets demonstrate that the defense found by numerical minimax optimization is indeed more robust than non-minimax defenses. We discuss directions for improving the result toward achieving robustness against multiple types of attack classes.

연구 동기 및 목표

• 적대적 공격과 방어의 동적이고 상호작용적인 성격을 다루기 위해, 일반적으로 별개로 평가되는 것이 아니라 쌍으로 고려하는 것.
• 공격자와 방어자를 플레이어로 간주하는 0-합 게임으로서 적대적 방어 문제를 연속적인 최소최대 최적화 문제로 공식화하는 것.
• 기울기 기반 및 신경망 기반 공격을 포함한 특정 공격 유형에 강건한 최소최대 최적 분류기를 수치적으로 구현 가능한 방법으로 계산하는 것.
• 최소최대 최적화된 방어가 표준 적대적 훈련보다 일반화 능력이 뛰어나고 강력한 적응형 공격에 더 강건한가를 입증하는 것.
• 적대적 공격과 개인정보 보호 데이터 변환 간의 이중성에 대해 탐구하며, 공통된 수학적 기초를 밝혀내는 것.

제안 방법

• 분류기 파라미터 u와 적대적 편향 z를 변수로 하는 연속적 최소최대 최적화 문제로 공격 방어 문제를 공식화: min_u max_z f(u, z), 여기서 u는 분류기 파라미터이고 z는 적대적 편향이다.
• 기울기 기반 공격(예: FGSM, IFGSM)과 허수 편향을 생성하도록 훈련된 신경망 기반 공격 유형 두 가지를 모델링한다.
• 최소최대 문제를 해결하기 위해 반복 최적화를 사용하며, 적대적 예제 생성(공격)과 분류기 재학습(방어)을 번갈아 수행한다.
• 고정 유형의 공격(예: FGSM)과 학습 기반 공격(예: 2층 밀집 신경망)에 모두 최소최대 프레임워크를 적용하여 강건한 분류기를 도출한다.
• 혼합 공격 유형을 다루기 위해 통합된 최소최대 목표 함수를 통해 공식화를 확장: min_u max{f(u,z₁(u)), ..., f(u,zₘ(u)), max_v f(u,z_{m+1}(u,v)), ...}.
• 공개된 방어와 적응형 공격의 순차적 성격을 모델링하기 위해 리더-팔로워 게임 구조를 활용한다.

실험 결과

연구 질문

• RQ1 적대적 방어를 정적 분류 문제로 보는 것 대신, 공격자와 방어자 간의 이중 플레이어 게임으로 의미 있게 프레임워크화할 수 있는가?
• RQ2 강력하고 적응형 공격에 대비해 최소최대 최적화된 방어는 표준 적대적 훈련보다 강건성이 뛰어나게 되는가?
• RQ3 최소최대 방어의 맥락에서 신경망 기반 공격이 기울기 기반 공격보다 현저히 강력하고 다양한가?
• RQ4 혼합 최소최대 문제를 해결함으로써 하나의 방어가 여러 공격 유형에 대해 강건해질 수 있는가?
• RQ5 게임 이론적 공식화 관점에서 적대적 방어와 개인정보 보호 데이터 변환 간의 관계는 어떠한가?

주요 결과

• 최소최대 최적화된 방어는 MNIST 및 CIFAR-10에서 비최소최대 방어보다 강건성을 뛰어나게 보이며, 강력한 공격에 대비한 뛰어난 강건성을 입증한다.
• 신경망 기반 공격은 기울기 기반 공격보다 경험적으로 더 강력하고 다양한데, 이는 강건한 방어 설계에서 고려되어야 한다.
• 최소최대 프레임워크는 복잡하거나 학습된 공격 유형 내에서 최악의 공격에 대비한 강건한 방어를 성공적으로 식별한다.
• 제안된 방법은 방어를 별개로 평가할 경우 잘못된 결론에 이르게 되며, 공격의 효과성은 대개 그가 대응하는 방어에 따라 결정된다는 점을 드러낸다.
• 최소최대 접근법은 적응형 화이트박스 공격에 강건한 분류기를 설계하기 위한 체계적인 프레임워크를 제공한다.
• 적대적 공격과 개인정보 보호 공격 간의 이중성은 수학적으로 동일하며, 이는 두 문제에 대해 공통된 최적화 전략을 적용할 수 있음을 시사한다.