[논문 리뷰] Machine vs Machine: Defending Classifiers Against Learning-based Adversarial Attacks.

Jihun Hamm|arXiv (Cornell University)|2017. 11. 12.

Adversarial Robustness in Machine Learning인용 수 3

한 줄 요약

이 논문은 게임 이론적 프레임워크로 악성 공격과 방어를 수립하며, 민감도 페널티를 통한 최악의 경우 방어 및 공격을 제안한다. 기계학습 기반 공격의 효과성을 입증하고, 악성 공격과 개인정보 유출 공격 간의 밀접한 연관성을 드러내며, MNIST 및 CIFAR-10에서 결과를 검증한다.

ABSTRACT

Recently, researchers have discovered that the state-of-the-art object classifiers can be fooled easily by small perturbations in the input unnoticeable to human eyes. Several methods were proposed to craft adversarial examples, as well as methods of robustifying the classifier against such examples. An attacker with the knowledge of the classifier parameters can generate strong adversarial patterns. Conversely, a classifier with the knowledge of such patterns can be trained to be robust to them. The cat-and-mouse game nature of the attacks and the defenses raises the question of the presence of an equilibrium in the dynamic. In this paper, we propose a game framework to formulate the interaction of attacks and defenses and present the natural notion of the best worst-case defense and attack. We propose simple algorithms to numerically find those solutions motivated by sensitivity penalization. In addition, we show the potentials of learning-based attacks, and present the close relationship between the adversarial attack and the privacy attack problems. The results are demonstrated with MNIST and CIFAR-10 datasets.

연구 동기 및 목표

• 악성 공격과 방어 간의 동적 상호작용을 게임 이론 문제로 수식화하기.
• 최악의 경우 방어 및 공격을 정의하고 계산하여 최적의 악성 조건 하에서도 강건성을 확보하기.
• 기계학습 기반 공격이 더 효과적인 악성 예제를 생성하는 데 잠재력을 갖추고 있는지 조사하기.
• 악성 공격과 개인정보 공격 간의 이론적 및 실용적 관계를 밝혀내기.
• 민감도 페널티를 활용해 균형 해를 수치적으로 구할 수 있는 프레임워크 제공하기.

제안 방법

• 공격-방어 상호작용을 최소화-최대화 게임으로 모델링하여 최악의 강건성 시나리오를 수립한다.
• 최악의 경우 편향에 강건한 분류기 학습을 위해 민감도 페널티를 정규화 기법으로 도입한다.
• 최악의 경우 공격 및 방어 전략을 수치적으로 근사하기 위한 반복 알고리즘을 제안한다.
• 기울기 기반 최적화를 활용해 제약 조건 하에서 분류기 손실을 최대화하는 악성 예제를 생성한다.
• 표준 벤치마크에 프레임워크를 적용하여 MNIST 및 CIFAR-10을 활용해 실증적 검증을 수행한다.
• 기계학습에서 악성 강건성과 개인정보 보호 간의 개념적 및 분석적 유사성 설정하기.

실험 결과

연구 질문

• RQ1 게임 이론적 프레임워크로 악성 공격과 방어 간의 균형을 원칙적으로 모델링할 수 있는가?
• RQ2 악성 편향 하에서 최악의 경우 방어 및 공격는 무엇인가?
• RQ3 민감도 페널티로 훈련된 강건한 분류기에서 기계학습 기반 공격의 효과성은 어떠한가?
• RQ4 악성 공격과 개인정보 공격 간의 이론적 및 실용적 관계는 무엇인가?
• RQ5 민감도 페널티가 악성 훈련에서 수치적으로 안정적이고 강건한 해를 도출할 수 있는가?

주요 결과

• 제안된 게임 이론적 프레임워크는 최악의 경우 방어 및 공격를 성공적으로 식별하여 원칙적인 균형 해를 제공한다.
• 민감도 페널티를 통해 최악의 경우 악성 편향에 강건한 분류기를 훈련시킬 수 있으며, 이는 공격 하에서도 일반화 성능 향상에 기여한다.
• 기계학습 기반 공격는 공격자가 모델 지식을 완전히 확보한 경우 기존 방법보다 더 효과적인 악성 예제를 생성하는 데 뛰어난 성능을 보인다.
• 악성 강건성과 개인정보 보호 간에 강력한 개념적 및 분석적 유사성이 확인되어 공통의 방어 메커니즘 존재를 시사한다.
• MNIST 및 CIFAR-10에서의 실증 결과는 프레임워크의 효과성을 검증하며, 악성 조건 하에서도 강건성이 향상됨을 보여준다.
• 프레임워크는 악성 예제에 대한 강건성이 개인정보 공격에 대한 저항력을 자연스럽게 향상시킬 수 있음을 드러내며, 이중 목적의 방어 설계 가능성을 시사한다.