[논문 리뷰] Adversarial Training Should Be Cast as a Non-Zero-Sum Game

Alexander Robey, Fabian Latorre외 3명|arXiv (Cornell University)|2023. 06. 19.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 방어자가 분류 오차의 상한을 최소화하고, 공격자가 0-1 손실의 연속적 재구성식을 최대화하는 비영합 이중형 최적화 문제를 제안한다. 이로 인해 유도된 BETA-AT 알고리즘은 히우리스틱 기법 없이 CIFAR-10에서 최고 수준의 강건성을 달성하며, 강건성 보장을 무효화하는 서피스 기반의 완화를 피하기 때문에 강건 과적합을 제거한다.

ABSTRACT

One prominent approach toward resolving the adversarial vulnerability of deep neural networks is the two-player zero-sum paradigm of adversarial training, in which predictors are trained against adversarially chosen perturbations of data. Despite the promise of this approach, algorithms based on this paradigm have not engendered sufficient levels of robustness and suffer from pathological behavior like robust overfitting. To understand this shortcoming, we first show that the commonly used surrogate-based relaxation used in adversarial training algorithms voids all guarantees on the robustness of trained classifiers. The identification of this pitfall informs a novel non-zero-sum bilevel formulation of adversarial training, wherein each player optimizes a different objective function. Our formulation yields a simple algorithmic framework that matches and in some cases outperforms state-of-the-art attacks, attains comparable levels of robustness to standard adversarial training algorithms, and does not suffer from robust overfitting.

연구 동기 및 목표

• 표준 서피스 기반의 적대적 훈련에서 0-1 손실을 잘못 완화함으로써 강건성 보장을 무효화하는 근본적 결함을 규명한다.
• 방어자와 공격자가 서로 다른 목표를 최적화하는 비영합 이중형 게임으로 적대적 훈련을 재구성함으로써 강건성 보장을 유지한다.
• 히우리스틱 기법을 사용하지 않는 적대적 훈련 알고리즘(BETA-AT)을 개발하여 CIFAR-10에서 최고 수준의 강건성을 달성하거나 초월한다.
• 강건 과적합이 서피스 기반 영합형 공식화의 결함에서 비롯된 산물이지, 강건 일반화의 본질적 한계가 아니라는 것을 입증한다.
• 적절히 설정된 적대적 목표 함수는 다중 재시작, 적응적 학습률과 같은 복잡한 공격 히우리스틱 없이도 정확한 강건성 평가를 가능하게 한다.

제안 방법

• 방어자가 0-1 분류 오차의 상한을 최소화하고, 공격자가 동일한 오차의 연속적 완화를 최대화하는 이중 최적화 공식화를 유도한다.
• 공격자의 목표로 0-1 손실의 연속적 재구성식을 사용하여, 이를 최대화하는 것이 진정한 적대적 예제를 찾는 것과 대응되도록 보장한다.
• 공격자의 목표 함수에 기반한 새로운 공격 알고리즘인 BETA(BEst Adversarial Attack)를 제안하며, 히우리스틱 없이 정확한 강건성 추정을 가능하게 한다.
• 서피스 기반 완화를 피하고 다중 재시작이나 적응적 학습률과 같은 특수 기법이 필요 없는 이중 공식화 기반의 훈련 알고리즘인 BETA-AT을 개발한다.
• 표준 1차 최적화를 사용하여 구현함으로써 복잡한 하이퍼파rameter 조정 없이 실용적인 구현이 가능하다.
• 모델 선택을 위해 조기 정지 기법을 사용하며, BETA-AT이 히우리스틱 정지 조건 없이도 강건성을 유지함을 보여준다.

실험 결과

연구 질문

• RQ1 표준 적대적 훈련에서 서피스 손실을 사용함으로써 공격자의 강력한 성능이 약화되어 강건성 보장이 무효화되는가?
• RQ2 적대적 훈련을 비영합 이중형 공식화로 재구성하면 강건성 보장을 유지하면서도 해석 가능성이 있는가?
• RQ3 적대적 훈련에서 서피스 기반 완화를 제거하면 강건 과적합이 잘못된 최적화의 산물임을 입증할 수 있는가?
• RQ4 적절히 설정된 적대적 목표 함수는 다중 재시작이나 적응적 학습률과 같은 복잡한 히우리스틱 없이도 AutoAttack 수준의 강건성을 달성할 수 있는가?
• RQ5 제안된 이중형 프레임워크는 표준 적대적 훈련을 넘어서 분포 이탈 설정 등 다른 환경으로 일반화 가능한가?

주요 결과

• 적대적 훈련에서 흔히 사용되는 서피스 기반 완화는 강건성에 대한 모든 보장을 무효화하며, 이는 약한 공격자와 효과가 떨어지는 훈련을 초래한다.
• 제안된 비영합 이중형 공식화는 공격자의 목표를 최대화할 때 진정한 최적의 적대적 예제를 찾는 것으로 보장되며, 강건성 보장을 유지한다.
• BETA-AT는 다중 재시작이나 적응적 학습률과 같은 히우리스틱을 사용하지 않음에도 불구하고, CIFAR-10에서 AutoAttack과 유사하거나 이를 초월하는 테스트 강건성을 달성한다.
• 이 알고리즘은 강건 과적합을 완전히 제거하며, 이는 강건 과적합이 잘못된 서피스 완화에서 비롯된 결과이지, 정확도와 강건성 간의 본질적 상충관계가 아니라는 것을 시사한다.
• BETA는 AutoAttack과 거의 동일한 강건성 추정치를 제공하며, 목표 함수가 올바르게 설정되어 있으면 복잡한 공격 히우리스틱 없이도 정확한 강건성 평가가 가능함을 입증한다.
• 이중 공식화는 일반화 가능하며, 향후 강건한 머신러닝 연구를 위한 원칙적인 기반을 제공한다. 이는 수렴성 및 표본 복잡도 분석 등에도 적용 가능하다.