[논문 리뷰] Minimax Statistical Learning with Wasserstein Distances

Jaeho Lee, Maxim Raginsky|arXiv (Cornell University)|2017. 05. 22.

Domain Adaptation and Few-Shot Learning인용 수 76

한 줄 요약

이 논문은 Wasserstein 구를 애매모호 집합으로 사용한 미니맥스 통계 학습 프레임워크를 도입하고, 데이터 의존 일반화 경계를 도출하며, 운송 기반 도메인 적응에 접근하지만 운송 맵을 명시적으로 추정하지 않는다.

ABSTRACT

As opposed to standard empirical risk minimization (ERM), distributionally robust optimization aims to minimize the worst-case risk over a larger ambiguity set containing the original empirical distribution of the training data. In this work, we describe a minimax framework for statistical learning with ambiguity sets given by balls in Wasserstein space. In particular, we prove generalization bounds that involve the covering number properties of the original ERM problem. As an illustrative example, we provide generalization guarantees for transport-based domain adaptation problems where the Wasserstein distance between the source and target domain distributions can be reliably estimated from unlabeled samples.

연구 동기 및 목표

• 학습에서 도메인 드리프트로부터 방어하여 분포 기반 강건성을 고취시키는Motivate?
• 경험적 분포를 중심으로 하는 Wasserstein 애매모호 집합으로 로컬 미니맥스 위험을 도입한다.
• 평활성 가정 아래 minimax ERM과 과잉 위험에 대한 데이터 의존 일반화 경계를 도출한다.
• 라벨링되지 않은 데이터에 의존하는 최적전송 프레임워크에서 도메인 적응 경계를 제공한다.
• Wasserstein 기반 접근법을 기존 도메인 적응 및 강건 최적화 문헌과 연결한다.

제안 방법

• 경험적 분포를 둘러싼 p-Wasserstein 구를 모호성 집합 A(Pn)로 정의한다.
• 로컬 미니맥스 위험 Rrho,p(P,f) = supQ in Aw of P R(Q,f) 및 대응하는 미니맥스 ERM 목적식을 형식화한다.
• 칸토로비치 이중성(Kantorovich duality)을 활용하여 Rrho,p(Q,f)를 람다와 대리 함수 phi_{lambda,f}에 대한 최적화와 연결한다.
• F의 커버링 수(엔트로피 적분)에 기초하여 Rrho,p(P,f)에 대한 데이터 의존 일반화 경계를 도출한다(정리 1).
• 균일한 매끄러움하에서 과잉 위험 경계(정리 2)를 얻고, 적어도 하나의 매끄러운 f0가 존재한다는 약한 가정 하에서도 과잉 위험 경계(정리 3)를 얻는다.
• Courty et al.의 운송 프레임워크 내에서 라벨이 없는 타깃 데이터와 추정된 Wasserstein 거리를 이용한 도메인 적응 경계(정리 4)를 제시한다.

실험 결과

연구 질문

• RQ1 Wasserstein 애매모호성 하에서의 로컬 미니맥스 위험이 전통적 통계적 위험과 어떻게 관련되는가?
• RQ2 Wasserstein 기반 애매모호성 하에서의 경험적 위험 최소화가 거의 최적의 로컬 미니맥스 위험에 도달할 수 있는가?
• RQ3 데이터 의존적이고 매개변수 없는(또는 최소 매개변수화된) 일반화/과잉 위험 경계는 Wasserstein 애매모호성 하에서 어떤가?
• RQ4 Wasserstein 기반 분포적 강건성이 명시적 운송 맵 추정 없이 도메인 적응에 어떤 보장을 제공할 수 있는가?

주요 결과

• 로컬 미니맥스 ERM은 최적 로컬 미니맥스 위험에 근접하게 수행하며, 일반화 경계는 애Ambiguity 반경과 가설 클래스의 복잡도에 적응합니다.
• rho = 0일 때 경계는 일반 ERM 속도를 회복하며, 애매모호성이 없을 때 표준 학습과 일관성을 보인다.
• 균일한 매끄러움 하에서 명시적 과잉 위험 경 bound는 엔트로피 적분과 애매모호 반경에 비례하며 강건성과 학습 가능성 간의 트레이드를 명확히 한다.
• 약한 가정에서도 rho와 샘플 크기에 우호적인 과잉 위험 경계가 존재한다.
• 도메인 적응에서 프레임워크는 소스와 타깃 분포 간의 추정된 Wasserstein 거리로 표현된 타깃 도메인 일반화 경계를 제공하며, 직접적인 운송 맵 추정은 필요하지 않다.