[논문 리뷰] On Projection Robust Optimal Transport: Sample Complexity and Model Misspecification

Tianyi Lin, Zeyu Zheng외 3명|arXiv (Cornell University)|2020. 06. 22.

Adversarial Robustness in Machine Learning인용 수 16

한 줄 요약

이 논문은 고차원 통계적 추론을 위한 투영 강건 워싱거스타인(Projection Robust Wasserstein, PRW) 및 통합 PRW (Integrated PRW, IPRW) 거리의 정의와 분석을 제안하며, 모델 불일치 하에서 새로운 표본 복잡도 경계와 점근적 보장을 제시한다. 표준 워싱거스타인 거리보다 더 빠른 수렴 속도를 확립하고, 고차원에서와 생성 모델링에서 PRW의 경험적 성공에 대한 이론적 근거를 제공한다.

ABSTRACT

Optimal transport (OT) distances are increasingly used as loss functions for statistical inference, notably in the learning of generative models or supervised learning. Yet, the behavior of minimum Wasserstein estimators is poorly understood, notably in high-dimensional regimes or under model misspecification. In this work we adopt the viewpoint of projection robust (PR) OT, which seeks to maximize the OT cost between two measures by choosing a $k$-dimensional subspace onto which they can be projected. Our first contribution is to establish several fundamental statistical properties of PR Wasserstein distances, complementing and improving previous literature that has been restricted to one-dimensional and well-specified cases. Next, we propose the integral PR Wasserstein (IPRW) distance as an alternative to the PRW distance, by averaging rather than optimizing on subspaces. Our complexity bounds can help explain why both PRW and IPRW distances outperform Wasserstein distances empirically in high-dimensional inference tasks. Finally, we consider parametric inference using the PRW distance. We provide an asymptotic guarantee of two types of minimum PRW estimators and formulate a central limit theorem for max-sliced Wasserstein estimator under model misspecification. To enable our analysis on PRW with projection dimension larger than one, we devise a novel combination of variational analysis and statistical theory.

연구 동기 및 목표

• 고차원 및 모델 불일치 설정에서 최소 워싱거스타인 추정자의 열 劣한 통계적 행동을 다루기.
• 저차원 투영을 활용하여 최적 운반 이론의 차원의 극복을 넘어서기.
• 일차원 투영을 초월한 투영 강건 운반 이론의 이론적 기초 제공.
• 모델 불일치 하에서 최소 PRW 및 기대 PRW 추정자의 수렴 속도와 점근적 분포를 확립하기.
• 생성 모델링과 같은 고차원 작업에서 PRW 및 IPRW가 표준 워싱거스타인 거리보다 경험적으로 유리한 점을 설명하기.

제안 방법

• PRW에서 최대화 최적화를 대체하기 위해 k차원 투영에 대한 운반 거리의 평균을 취함으로써 통합 PRW (IPRW) 거리를 제안한다.
• 변분 분석과 통계 이론의 새로운 조합을 통해 k > 1인 PRW를 분석한다.
• 투영 베르누이 꼬리 조건 및 포incare 부등식 조건 하에서 경험적 PRW 및 IPRW의 수렴 속도를 확립한다.
• 이전 연구보다 더 약한 꼬리 가정 하에서 PRW의 농도 부등식을 유도한다 (예: 지수적 감소 대비 정규 분포 가정).
• 최소 PRW 및 기대 최소 PRW 추정자에 대한 점근적 보장을 제공하며, 특히 모델 불일치 하에서 최대 슬라이스 워싱거스타인에 대한 중심극한정리도 도출한다.
• 실제 계산을 위해 투영 초급강하법 및 리만 기하학 최적화를 사용하며, 실험을 통해 검증한다.

실험 결과

연구 질문

• RQ1 고차원 및 모델 불일치 설정 하에서 PRW 및 IPRW 거리의 유한 표본 및 점근적 수렴 속도는 무엇인가?
• RQ2 고차원에서 PRW의 표본 복잡도 및 농도 성질은 표준 워싱거스타인 거리와 비교해 어떻게 되는가?
• RQ3 모델 불일치 하에서 최소 PRW 및 기대 PRW 추정자의 점근적 분포는 무엇인가?
• RQ4 기대 PRW 추정자가 최소 PRW 추정자로 수렴하는 조건은 무엇인가?
• RQ5 생성 모델링 및 매개변수 추정과 같은 고차원 추론 과제에서 PRW 및 IPRW는 경험적으로 어떻게 성능을 발휘하는가?

주요 결과

• IPRW의 경우, $ p = 3/2 $ 이고 $ k \geq 3 $ 일 때, 투영 베르누이 꼬리 조건 하에서 수렴 속도는 $ n^{-1/k} $ 이다.
• PRW의 경우, 투영 베르누이 꼬리 조건 하에서 수렴 속도는 $ n^{-1/k} + n^{-1/6} \sqrt{dk \log n} + n^{-2/3} dk \log n $ 이다.
• 만약 $ \mu_\star $ 가 투영 포incare 부등식을 만족한다면, PRW 수렴 속도는 $ n^{-1/k} + n^{-1/2} \sqrt{dk \log n} + n^{-2/3} dk \log n $ 로 향상된다.
• 논문은 모델 불일치 하에서 최대 슬라이스 워싱거스타인 추정자에 대한 중심극한정리를 확립하며, 이는 이전 결과를 확장한다.
• 경험적 결과는 IPRW 및 PRW가 고차원 추론에서 표준 워싱거스타인 거리보다 뛰어나며, 특히 작은 표본에서 IPRW가 더 안정적임을 확인한다.
• MEPRW 추정자는 온건한 가정 하에서 MPRW 추정자로 수렴하지만, 가정 3.5가 위반될 경우, 예를 들어 25개의 가우시안 혼합 분포 사례에서 수렴 실패가 관찰된다.