[논문 리뷰] On the sample complexity of entropic optimal transport

Philippe Rigollet, Austin J. Stromme|arXiv (Cornell University)|2022. 06. 27.

Markov Chains and Monte Carlo Methods인용 수 5

한 줄 요약

이 논문은 계산적으로 효율적인 플러그인 추정기들을 사용하여 엔트로픽 최적 운반의 차원에 의존하지 않는, 매개변수적 표본 복잡도 비율을 수립한다. Schrödinger 결합과 Polyak-Áojasiewicz 부등식에 의한 강한 볼록성에 기반하여, 고차원에서도 엔트로픽 회귀 함수—최적 운반 지도와 유사한 것—가 매개변수적 수렴 비율로 추정될 수 있음을 증명한다.

ABSTRACT

We study the sample complexity of entropic optimal transport in high dimensions using computationally efficient plug-in estimators. We significantly advance the state of the art by establishing dimension-free, parametric rates for estimating various quantities of interest, including the entropic regression function which is a natural analog to the optimal transport map. As an application, we propose a practical model for transfer learning based on entropic optimal transport and establish parametric rates of convergence for nonparametric regression and classification.

연구 동기 및 목표

• 최적 운반 추정에서 통계적 차원의 저주를 해결하기 위해.
• 엔트로픽 최적 운반 추정기의 계산적으로 효율적이고 차원에 의존하지 않는 수렴 비율을 수립하기 위해.
• 증명 가능하고 비모수적 회귀 및 분류 비율을 갖는 엔트로픽 최적 운반 기반의 전이 학습 모델을 개발하기 위해.
• Brenier 지도의 매끄럽고 적응적인 대체로 엔트로픽 회귀 함수의 표본 복잡도를 분석하기 위해.
• Schrödinger 결합이 고차원 지지에서 비록 높은 차원이지만 매개변수적 수렴을 가능하게 함을 증명하기 위해.

제안 방법

• 표준 OT의 계산 가능성을 높이기 위해 엔트로피 정규화된 최적 운반 문제(Schrödinger 결합)를 사용한다.
• Schrödinger 결합을 효율적으로 계산하기 위해 Sinkhorn 알고리즘을 적용한다.
• 일관된 확장과 이중 잠재함수를 사용하여 정규화된 잠재함수의 균일한 경계를 확보한다.
• 기울기 노름과 함수 값 간격 간의 관계를 연결하기 위해 Polyak-Áojasiewicz 부등식을 사용하여 강한 볼록성의 추론을 가능하게 한다.
• 지수 함수와 로그 함수의 리프시츠 연속성에 기반하여 이중 잠재함수와 밀도에 대한 균일한 경계를 수립한다.
• 집합적 부등식과 경험적 및 진짜 이중 잠재함수 간의 차이에 대한 균일한 경계를 통해 수렴 비율을 도출한다.

실험 결과

연구 질문

• RQ1 엔트로픽 최적 운반은 고차원 설정에서 차원에 의존하지 않고 매개변수적 표본 복잡도를 달성할 수 있는가?
• RQ2 엔트로픽 회귀 함수는 최적 비율을 갖는 매끄럽고 적응적인 Brenier 지도 추정기인가?
• RQ3 Schrödinger 결합을 사용하여 비모수적 회귀 및 분류 보장을 갖는 실용적인 전이 학습 모델을 구축할 수 있는가?
• RQ4 엔트로픽 결합과 그 관련 잠재함수를 추정할 때의 표본 복잡도는 무엇인가?
• RQ5 이중 잠재함수와 밀도에 대한 균일한 경계는 엔트로픽 OT에서 수렴 비율에 어떻게 기여하는가?

주요 결과

• 엔트로픽 회귀 함수는 $L^\infty$ 노름에서 차원에 관계없이 매개변수적 수렴 비율을 달성한다.
• 이중 잠재함수 $f_n$과 $g_n$은 $L^\infty$ 노름에서 균일하게 유계이며, $\|f_n\|_{L^\infty(\mu)} \leq 2$ 및 $\|g_n\|_{L^\infty(\nu_n)} \leq 1$를 만족하여 안정성을 확보한다.
• Schrödinger 결합은 차원에 의존하지 않는 운반 지도 추정을 가능하게 하여 $n^{-1/d}$ 차원의 저주를 피한다.
• 경험적 이중 잠재함수와 진짜 이중 잠재함수 간의 차이는 $O(\|\bar{g}_\star - g_n\|_{L^1(\nu_n)})$로 유계이며, 이는 수렴 분석을 가능하게 한다.
• Schrödinger 결합의 밀도 $p_n(x,y)$는 이중 잠재함수 차이의 $L^1$-노름에 의해 제어되는 비율로 $p_\star(x,y)$로 수렴한다.
• Polyak-Áojasiewicz 부등식은 강한 볼록성 기반의 경계를 도출하여 엔트로픽 OT 추정기의 매개변수적 비율을 확보하는 데 사용된다.