[논문 리뷰] Lower Bounds on Adversarial Robustness from Optimal Transport

Arjun Nitin Bhagoji, Daniel Cullina외 1명|arXiv (Cornell University)|2019. 09. 26.

Adversarial Robustness in Machine Learning인용 수 34

한 줄 요약

이 논문은 적대적 강건성과 최적 수송을 연결하여 테스트 시간 회피에서의 0-1 손실에 대한 하한을 도출하고, 가우시안 케이스 최적성 및 샘플 복잡도 결과를 제시하며, MNIST, Fashion-MNIST, CIFAR-10에 대한 경험적 경계도 제공합니다.

ABSTRACT

While progress has been made in understanding the robustness of machine learning classifiers to test-time adversaries (evasion attacks), fundamental questions remain unresolved. In this paper, we use optimal transport to characterize the minimum possible loss in an adversarial classification scenario. In this setting, an adversary receives a random labeled example from one of two classes, perturbs the example subject to a neighborhood constraint, and presents the modified example to the classifier. We define an appropriate cost function such that the minimum transportation cost between the distributions of the two classes determines the minimum $0-1$ loss for any classifier. When the classifier comes from a restricted hypothesis class, the optimal transportation cost provides a lower bound. We apply our framework to the case of Gaussian data with norm-bounded adversaries and explicitly show matching bounds for the classification and transport problems as well as the optimality of linear classifiers. We also characterize the sample complexity of learning in this setting, deriving and extending previously known results as a special case. Finally, we use our framework to study the gap between the optimal classification performance possible and that currently achieved by state-of-the-art robustly trained neural networks for datasets of interest, namely, MNIST, Fashion MNIST and CIFAR-10.

연구 동기 및 목표

• 적대적 강건성의 evasion 설정에서 기본 한계를 이해하는 데 동기를 부여한다.
• 적합한 비용 함수들을 통해 적대적 분류를 최적 수송과 연결하는 프레임워크를 정의한다.
• 적대적 변칙에 대해 분류기의 최소 달성 가능한 0-1 손실에 대한 하한을 도출한다.
• 가우시안 데이터 케이스를 특성화하고 노름-제한된 적대자 하에서 선형 분류기의 최적성을 입증한다.
• 실제 데이터세트(MNIST, Fashion-MNIST, CIFAR-10)에 대한 경계치를 평가하고 이를 강건하게 학습된 모델과 비교한다.

제안 방법

• 적대적 교란의 이웃 제약을 부호화하는 비용 함수 c_N을 정의한다.
• 적대적 강건성을 클래스 분포 간의 최적 수송 비용 C_N∘C_N^⊤와 연결한다.
• 최소 달성 가능한 0-1 손실이 (1−2 inf_h L(N,h,P)) = (C_N∘C_N^⊤)(P_X1,P_X−1)임을 보인다.
• 평균이 구분되는 가우시안 데이터의 경우 선형 분류기가 최적이며, 그 해가 강건성 경계를 주는 볼록 프로그램(식(4))을 도출한다.
• 알파*(β,μ) 최적화를 통한 가우시안 케이스의 명시적 결과(Theorem 2)를 제공하고 Q-함수와의 연결을 제시한다.
• 가우시안 설정에서 샘플 복잡도 경계(Theorem 3)를 도출한다.
• MNIST, Fashion-MNIST, CIFAR-10에 대한 수송 기반 하한을 실험적으로 계산하고 이를 강건한 모델과 비교한다.

실험 결과

연구 질문

• RQ1 주어진 노이즈 예산 하에서 적대적으로 변형된 데이터의 최소 0-1 손실은 얼마인가?
• RQ2 최적 수송 이론이 임의의 분포에 걸쳐 적대적 강건성을 어떻게 한정하는가?
• RQ3 가우시안 설정에서 적대적 강건성에 대해 선형 분류기가 최적인가, 예산은 최적 분류기에 어떤 영향을 주는가?
• RQ4 가우시안 가정 하에 강건한 분류기를 학습하는 데 필요한 샘플 복잡도는 얼마인가?
• RQ5 수송 기반 하한이 MNIST, Fashion-MNIST, CIFAR-10과 같은 표준 데이터셋에서 강건하게 학습된 모델과 어떻게 비교되는가?

주요 결과

• 최소적대적 위험은 적대적 제약 하에서 클래스-조건부 분포 간의 최적 수송 비용의 두 배를 뺀 값이 1과 같음이다.
• 노름-제한 교란을 갖는 가우시안 데이터의 경우 선형 분류기가 최적이며 강건성에 대해 상한과 하한이 일치한다.
• Q-함수를 포함하는 알파*, 베타, 뮈를 포함하는 명시적 볼록 프로그램이 강건성 경계를 특징짓고, alpha*가 원-대-쌍 해의 일치를 좌우한다.
• 데이터와 적대자 노름이 일치할 때(예: Sigma-노름과 B-노름), 예산과 무관하게 최적 분류기가 동일하게 유지되어, 노름이 다를 때 순진한 정확도와 강건성 사이의 trade-off를 드러낸다.
• 평균에 대한 베이지안/가우시안 사전분포를 통한 샘플 복잡도 결과를 도출·확장하여 기존 경계와 일치하거나 이를 확장한다.
• MNIST, Fashion-MNIST, CIFAR-10에 대한 경험적 경계는 현재의 강건한 모델과 이론적 하한 사이의 차이를 보여주며, 적대적 예산이 커질수록 그 차이가 커진다.