[논문 리뷰] Towards A Unified Min-Max Framework for Adversarial Exploration and Robustness

Jingkang Wang, Tianyun Zhang외 5명|arXiv (Cornell University)|2019. 09. 25.

Adversarial Robustness in Machine Learning참고 문헌 36인용 수 21

한 줄 요약

이 논문은 표준 적대적 훈련을 초월하여 다양한 문제인 앙상블 공격, 유니버설 편향, 일반화된 강건성 등을 다룰 수 있는 통합된 최소-최대 최적화 프레임워크를 제안한다. 적응형 도메인 가중치를 학습함으로써 평균 전략보다 성능을 향상시키고, 공격 및 방어의 어려움에 대한 해석 가능한 통찰을 제공한다.

ABSTRACT

The worst-case training principle that minimizes the maximal adversarial loss, also known as adversarial training (AT), has shown to be a state-of-the-art approach for enhancing adversarial robustness against norm-ball bounded input perturbations. Nonetheless, min-max optimization beyond the purpose of AT has not been rigorously explored in the research of adversarial attack and defense. In particular, given a set of risk sources (domains), minimizing the maximal loss induced from the domain set can be reformulated as a general min-max problem that is different from AT. Examples of this general formulation include attacking model ensembles, devising universal perturbation under multiple inputs or data transformations, and generalized AT over different types of attack models. We show that these problems can be solved under a unified and theoretically principled min-max optimization framework. We also show that the self-adjusted domain weights learned from our method provides a means to explain the difficulty level of attack and defense over multiple domains. Extensive experiments show that our approach leads to substantial performance improvement over the conventional averaging strategy.

연구 동기 및 목표

• 표준 적대적 훈련을 초월한 원칙적인 통합 프레임워크가 부족한 문제를 해결하기 위해.
• 모델 앙상블 공격 및 유니버설 편향 생성과 같은 다양한 적대적 작업을 위한 최소-최대 공식화를 일반화하기 위해.
• 다양한 도메인 간 공격 및 방어의 어려움을 설명할 수 있도록 자가 조정되는 도메인 가중치를 학습하는 방법을 개발하기 위해.
• 다중 도메인 적대적 환경에서 전통적인 평균 전략보다 성능을 향상시키기 위해.

제안 방법

• 위험 원천(도메인)의 집합에 대해 적대적 강건성과 탐색을 일반적인 최소-최대 최적화 문제로 공식화하기.
• 표준 적대적 훈련, 앙상블 공격, 유니버설 편향 생성을 하나의 최적화 구조에 통합하는 통합 프레임워크를 도입하기.
• 최적화를 통해 엔드 투 엔드로 도메인 특화 가중치를 학습함으로써, 모델이 각 도메인의 어려움에 따라 자가 조정하도록 하기.
• 내부 최대화가 도메인 간 최악의 경우의 편향을 찾고, 외부 최소화가 모델의 강건성을 향상시키는 최소-최대 목표를 사용하기.
• 다중 입력, 다중 변환, 다중 공격 모델 강건성과 같은 다양한 작업에 프레임워크를 적용하기.
• 학습된 도메인 가중치가 내재된 공격 및 방어의 어려움과 상관관계가 있음을 입증하여 해석 가능성 확보하기.

실험 결과

연구 질문

• RQ1 단일 최소-최대 프레임워크가 강건성 훈련, 앙상블 공격, 유니버설 편향 생성과 같은 다양한 적대적 작업을 통합할 수 있는가?
• RQ2 프레임워크에서 학습된 자가 조정 도메인 가중치는 서로 다른 도메인 간 공격 및 방어의 상대적 어려움을 어떻게 반영하는가?
• RQ3 제안된 프레임워크는 다중 도메인 적대적 환경에서 전통적인 평균 전략보다 우월한 성능을 보일 수 있는가?
• RQ4 학습된 도메인 가중치가 적대적 예제의 어려움에 대해 얼마나 해석 가능한 통찰을 제공할 수 있는가?
• RQ5 이 프레임워크는 이질적인 공격 모델에 대한 일반화된 적대적 훈련에 효과적으로 적용될 수 있는가?

주요 결과

• 제안된 통합 최소-최대 프레임워크는 다중 도메인 적대적 작업에서 전통적인 평균 전략보다 상당한 성능 향상을 달성한다.
• 모델이 학습한 자가 조정 도메인 가중치는 공격 및 방어의 내재된 어려움과 상관관계가 있으며, 적대적 강건성에 대한 해석 가능한 통찰을 제공한다.
• 이 프레임워크는 앙상블 공격 및 유니버설 편향과 같은 다양한 적대적 시나리오로 일반화되며 일관된 향상을 이룬다.
• 이 방법은 표준 적대적 훈련을 초월한 원칙적인 강건성 접근법을 가능하게 한다.
• 실험 결과, 다양한 도메인 구성에서 기존 방법보다 강건성과 탐색 모두에서 프레임워크가 슈퍼리어한 성능을 보였다.