[논문 리뷰] Convergence of Gaussian-smoothed optimal transport distance with sub-gamma distributions and dependent samples

Yixing Zhang, Xiuyuan Cheng외 1명|arXiv (Cornell University)|2021. 03. 18.

Markov Chains and Monte Carlo Methods인용 수 2

한 줄 요약

이 논문은 일반 조건 하에서 가우시안 스무딩 최적 운반(GOT) 거리의 수렴 보장을 수립하며, d차원에서 $d + 2p$보다 큰 모멘트 조건이 존재하는 것으로만 수렴이 보장됨을 보여준다. 또한 GOT를 하위감마 분포와 종속된 샘플로 확장하기 위해 GOT를 커널 MMD 거리와 연결함으로써 차원에 의존하는 단계 전이와 약한 종속성 하에서도 강건한 고차원 추정을 가능하게 한다.

ABSTRACT

The Gaussian-smoothed optimal transport (GOT) framework, recently proposed by Goldfeld et al., scales to high dimensions in estimation and provides an alternative to entropy regularization. This paper provides convergence guarantees for estimating the GOT distance under more general settings. For the Gaussian-smoothed $p$-Wasserstein distance in $d$ dimensions, our results require only the existence of a moment greater than $d + 2p$. For the special case of sub-gamma distributions, we quantify the dependence on the dimension $d$ and establish a phase transition with respect to the scale parameter. We also prove convergence for dependent samples, only requiring a condition on the pairwise dependence of the samples measured by the covariance of the feature map of a kernel space. A key step in our analysis is to show that the GOT distance is dominated by a family of kernel maximum mean discrepancy (MMD) distances with a kernel that depends on the cost function as well as the amount of Gaussian smoothing. This insight provides further interpretability for the GOT framework and also introduces a class of kernel MMD distances with desirable properties. The theoretical results are supported by numerical experiments.

연구 동기 및 목표

• i.i.d. 샘플과 경량 꼬리 분포를 초월한 가우시안 스무딩 최적 운반(GOT) 거리의 수렴 보장을 확장하기 위해.
• d차원에서 $d + 2p$보다 큰 모멘트가 존재하는 것으로만 요구하는 더 약한 모멘트 조건 하에서 수렴을 확립하기 위해.
• 하위감마 분포 데이터 하에서 GOT의 행동을 분석하고 스케일 파라미터가 수렴 속도에 미치는 영향을 정량화하기 위해.
• 커널 공간에서 특징 맵의 공분산 조건을 도입하여 종속된 샘플에 대한 수렴을 증명하기 위해.
• GOT와 커널 최대 평균 차이(MMD)를 통합하기 위해, GOT가 비용 함수와 스무딩에 의존하는 커널에 의해 유도된 MMD 거리의 가족에 의해 지배된다는 것을 보여주기 위해.

제안 방법

• 기본 분포의 모멘트 조건을 사용하여 GOT 거리의 수렴 경계를 유도하며, 특히 $d + 2p$보다 큰 모멘트가 요구됨을 규명한다.
• 스케일 파라미터와 차원 $d$에 대한 의존성을 분석함으로써 하위감마 분포 하에서의 수렴 행동을 특성화하고 단계 전이를 드러낸다.
• 재생 커널 힐버트 공간(RKHS)에서 특징 맵의 공분산 조건을 통해 종속된 샘플을 모델링함으로써, 약한 종속성 하에서도 수렴을 보장한다.
• GOT와 커널 MMD 사이의 이론적 연결 고리를 확립하기 위해, GOT 거리가 비용 함수와 가우시안 스무딩에 의존하는 커널에 의해 유도된 MMD 거리의 가족에 의해 지배된다는 것을 보여준다.
• 이 커널-MMD 연결 고리를 활용하여 GOT를 정규화된 MMD로 해석함으로써 해석 가능성과 새로운 이론적 분석을 가능하게 한다.

실험 결과

연구 질문

• RQ1 고차원 설정에서 가우시안 스무딩 최적 운반 거리가 어떤 모멘트 조건 하에서 수렴하는가?
• RQ2 하위감마 분포 데이터에 대해 GOT의 수렴 속도는 어떻게 행동하는가? 스케일 파라미터에 따라 단계 전이가 발생하는가?
• RQ3 GOT에 대한 수렴 보장은 종속된 샘플로 확장될 수 있는가? 어떤 종속성 구조가 필요하는가?
• RQ4 GOT와 커널 최대 평균 차이(MMD) 사이의 관계는 무엇이며, 이 연결 고리를 이론적 분석에 어떻게 활용할 수 있는가?
• RQ5 가우시안 스무딩의 선택이 고차원에서 GOT 거리의 수렴 성질에 어떻게 영향을 미치는가?

주요 결과

• 가우시안 스무딩 최적 운반 거리는 $p$-번째 모멘트가 $d + 2p$를 초과하는 최소한의 모멘트 조건 하에서 수렴함을 보여주며, 이는 꼬리가 무거운 데이터가 있는 고차원 설정에서의 추정을 가능하게 한다.
• 하위감마 분포의 경우, 스케일 파라미터에 따라 수렴 속도에 단계 전이가 나타나며, 차원 대비 스케일이 작을수록 수렴 속도가 빨라진다.
• 커널 공간에서 특징 맵의 공분산 조건을 도입함으로써 약한 종속성 하에서도 종속된 샘플에 대해 수렴이 보장되며, i.i.d. 결과를 약한 종속성 시퀀스로 일반화한다.
• GOT 거리는 비용 함수와 스무딩 정도에 의존하는 커널에 의해 유도된 MMD 거리의 가족에 의해 지배되며, 이는 새로운 해석 프레임워크를 제공한다.
• 이 커널-MMD 연결 고리는 GOT가 MMD의 유리한 성질(예: 강건성, 계산 가능성)을 물려받고 있음을 드러내며, 同시에 최적 운반의 기하학적 직관을 유지한다.