[논문 리뷰] Sample Complexity of Sinkhorn divergences

Aude Genevay, Lénaïc Chizat외 3명|arXiv (Cornell University)|2018. 10. 05.

Probabilistic and Robust Engineering Design인용 수 142

한 줄 요약

이 논문은 RKHS에서 재정의하여 Sinkhorn 발산에 대한 새로운 샘플 복잡도 경계(bound)를 도출한다; 정규화 의존 상수를 갖는 1/√n 속도를 보이고 OT와 MMD를 연결한다.

ABSTRACT

Optimal transport (OT) and maximum mean discrepancies (MMD) are now routinely used in machine learning to compare probability measures. We focus in this paper on \emph{Sinkhorn divergences} (SDs), a regularized variant of OT distances which can interpolate, depending on the regularization strength $\varepsilon$, between OT ($\varepsilon=0$) and MMD ($\varepsilon=\infty$). Although the tradeoff induced by that regularization is now well understood computationally (OT, SDs and MMD require respectively $O(n^3\log n)$, $O(n^2)$ and $n^2$ operations given a sample size $n$), much less is known in terms of their \emph{sample complexity}, namely the gap between these quantities, when evaluated using finite samples \emph{vs.} their respective densities. Indeed, while the sample complexity of OT and MMD stand at two extremes, $1/n^{1/d}$ for OT in dimension $d$ and $1/\sqrt{n}$ for MMD, that for SDs has only been studied empirically. In this paper, we \emph{(i)} derive a bound on the approximation error made with SDs when approximating OT as a function of the regularizer $\varepsilon$, \emph{(ii)} prove that the optimizers of regularized OT are bounded in a Sobolev (RKHS) ball independent of the two measures and \emph{(iii)} provide the first sample complexity bound for SDs, obtained,by reformulating SDs as a maximization problem in a RKHS. We thus obtain a scaling in $1/\sqrt{n}$ (as in MMD), with a constant that depends however on $\varepsilon$, making the bridge between OT and MMD complete.

연구 동기 및 목표

• 고차원에서 정규화된 OT의 샘플 복잡도 연구를 동기화한다.
• 엔트로피 정규화 매개변수 ε의 함수로 정규화된 OT와 표준 OT 사이의 근사 오차에 대한 경계를 도출한다.
• Sinkhorn 최적화해가 입력 측정값과 무관한 Sobolev (RKHS) 구 안에 놓인다는 것을 보인다.
• Sinkhorn 발산을 RKHS 기반의 기대값-최대화 문제로 재정의한다.
• Sinkhorn 발산에 대한 최초의 명시적 샘플 복잡도 경계를 제시하고 이를 MMD 및 OT와 관련시킨다.

제안 방법

• 엔트로피 정규화된 OT Wε와 실제 OT W 사이의 경계를 ε의 함수로 확립한다.
• Sinkhorn 포텐셜이 Sobolev 공간(Hs)에서 경계가 균일하게 존재하며 marginals에 독립적임을 보인다.
• SD를 RKHS 기반 기대값의 최대화 문제로 재정의하여 커널-SGD 접근을 가능하게 한다.
• Bartlett–Mendelson 프레임워크를 활용한 RKHS 기반 PAC 학습으로 경험적 SD에 대해 1/√n 수렴 속도를 얻는다.
• 수렴에 대한 ε 의존 상수와 점근속도를 도출하고 집중성에 대한 결론을 제공한다.

실험 결과

연구 질문

• RQ1 엔트로피 정규화 매개변수 ε가 정규화된 OT와 표준 OT 사이의 근사 오차 Wε - W에 어떤 영향을 미치는가?
• RQ2 Sinkhorn 포텐셜이 marginals에 독립적인 Sobolev/RKHS 구에서 경계될 수 있어, RKHS 기반 최적화 방법을 가능하게 하는가?
• RQ3 유한 샘플에서 추정될 때 Sinkhorn 발산의 샘플 복잡도는 무엇이며, 그것이 n과 ε에 어떻게 스케일하는가?
• RQ4 SD가 OT(ε→0)와 MMD(ε→∞) 사이에서 통계적 효율성 측면에서 어떻게 보간되는가?
• RQ5 SD를 계산할 때 커널-SGD 및 RKHS 기반 최적화의 실용적 함의는 무엇인가?

주요 결과

• Wε(α,β) − W(α,β) ≤ 2ε d log(e^2 L D /(√d ε)) and asymptotically ~ 2ε d log(1/ε) as ε→0.
• Sinkhorn 포텐셜 (u,v)은 Sobolev 공간 Hs(R^d)에서 균일하게 경계되며 노름은 O(1+1/ε^{s−1})이다.
• 정규화된 OT 문제의 최적해는 측정에 독립적인 RKHS 구 안에 위치하며, 커널 기반 최적화 접근을 가능하게 한다.
• 경험적 Sinkhorn 발산은 모집단 값으로 O(1/√n) 속도로 수렴하며, 작은 ε에 대해서는 상수가 exp(κ/ε)/ε^{⌊d/2⌋}처럼 증가하고, 큰 ε에서는 ε-독립적이 된다.
• PAC/RKHS 기반 분석은 경험적 SD 오차에 대한 경계: E|Wε(α,β) − Wε(α̂n,β̂n)| = O((e^{κ/ε}/√n)(1+1/ε^{⎣d/2⎦})).
• Corollaries include concentration bounds showing high-probability control of the empirical error.