[논문 리뷰] The Multimarginal Optimal Transport Formulation of Adversarial Multiclass Classification

Nicolás García Trillos, Matt Jacobs외 1명|arXiv (Cornell University)|2022. 04. 27.

Machine Learning and Algorithms인용 수 7

한 줄 요약

이 논문은 적대적 다중분류 문제와 다중모ーメント 최적 운반(MOT) 문제 사이의 새로운 등가성을 확립하며, 최적 운반 해법기를 통해 강건한 분류기 학습이 가능한 일반화된 바리센터 공식화를 드러낸다. 주요 기여는 적대적 학습과 최적 운반 간의 이론적이고 계산 가능한 프레임워크를 구축한 것으로, 이는 원래의 적대적 분류기와 적대적 전략을 원-이중 최적 운반 알고리즘을 통해 복원할 수 있도록 한다.

ABSTRACT

We study a family of adversarial multiclass classification problems and provide equivalent reformulations in terms of: 1) a family of generalized barycenter problems introduced in the paper and 2) a family of multimarginal optimal transport problems where the number of marginals is equal to the number of classes in the original classification problem. These new theoretical results reveal a rich geometric structure of adversarial learning problems in multiclass classification and extend recent results restricted to the binary classification setting. A direct computational implication of our results is that by solving either the barycenter problem and its dual, or the MOT problem and its dual, we can recover the optimal robust classification rule and the optimal adversarial strategy for the original adversarial problem. Examples with synthetic and real data illustrate our results.

연구 동기 및 목표

• 적대적 다중분류 문제와 최적 운반 간의 이론적 프레임워크를 개발하는 것.
• 적대적 강건성을 일반화된 워셔슈타인 바리센터 문제로 재정의하는 것.
• 적대적 분류 문제와 다중모멘트 최적 운반(MOT) 문제 사이의 등가성을 확립하는 것.
• 원-이중 최적 운반 알고리즘을 사용하여 최적의 강건한 분류기와 적대적 전략을 계산할 수 있도록 하는 것.
• 다중분류 설정에서 확장 가능한 강건한 학습을 위한 기하학적이고 계산적인 기반을 제공하는 것.

제안 방법

• 비확률 측도와 운반 비용을 포함하는 일반화된 바리센터 문제로 적대적 다중분류 문제를 재정의하는 것.
• K개의 고리(여기서 K는 클래스 수)를 가진 다중모멘트 최적 운반(MOT) 문제와 적대적 문제 사이의 등가성을 확립하는 것.
• 클래스 간의 적대적 편향의 구조를 표현하는 비용 함수 c(z₁,…,zₖ)를 정의하는 것.
• 명시적인 커플링과 운반 사상으로 MOT 문제와 그 이중 문제의 해를 이용해 원래의 적대적 문제의 해를 구성하는 것.
• 기존의 원-이중 최적 운반 알고리즘을 활용하여 동시에 최적의 강건한 분류기와 적대적 편향을 계산하는 것.
• 일반화된 바리센터 공식화를 통해 실질적으로 문제의 크기를 줄이고 기하학적 구조를 활용하는 것.

실험 결과

연구 질문

• RQ1 적대적 다중분류 문제는 다중모멘트 최적 운반 문제로 재정의될 수 있는가?
• RQ2 일반화된 바리센터 문제의 개념은 적대적 학습 맥락에서 고전적 워셔슈타인 바리센터를 어떻게 확장하는가?
• RQ3 적대적 문제와 그 MOT 재정의 간의 계산적 관계는 무엇인가?
• RQ4 원-이중 최적 운반 해법기를 사용하여 최적의 강건한 분류기와 적대적 전략을 복원할 수 있는가?
• RQ5 일반화된 바리센터 공식화는 적대적 환경에서 데이터 분포에 대해 어떤 기하학적 통찰을 드러내는가?

주요 결과

• 적대적 다중분류 문제는 K개의 고리를 가진 다중모멘트 최적 운반 문제와 수학적으로 등가이며, 여기서 K는 클래스의 수이다.
• 이 문제는 또한 비확률 측도와 공통 측도 λ로의 운반 비용을 포함하는 일반화된 바리센터 문제와도 등가이다.
• MOT 문제와 그 이중 문제의 해를 이용해 최적의 강건한 분류기와 최적의 적대적 전략을 모두 복원할 수 있다.
• 이 등가성 덕분에 표준 원-이중 최적 운반 해법기를 사용하여 강건한 분류기를 직접 계산할 수 있다.
• 일반화된 바리센터 공식화는 특히 특정 척도에서 몇 개의 클래스만 상호작용할 경우, 적대적 학습에서 풍부한 기하학적 구조를 드러낸다.
• 이 프레임워크는 강건성의 기준이 되며, 분류기 가족이 제한되어 있을 경우조차도 적대적 예제를 생성하는 데 사용할 수 있다.