[論文レビュー] Sample Complexity of Sinkhorn divergences

Aude Genevay, Lénaïc Chizat+3 more|arXiv (Cornell University)|Oct 5, 2018

Probabilistic and Robust Engineering Design被引用数 142

ひとこと要約

この論文は Sinkhorn 発散の新しいサンプル複雑性境界を RKHS に再定式化することによって導出する。正則化依存定数を含む 1/√n のレートを示し、OT と MMD を橋渡しする。

ABSTRACT

Optimal transport (OT) and maximum mean discrepancies (MMD) are now routinely used in machine learning to compare probability measures. We focus in this paper on \emph{Sinkhorn divergences} (SDs), a regularized variant of OT distances which can interpolate, depending on the regularization strength $\varepsilon$, between OT ($\varepsilon=0$) and MMD ($\varepsilon=\infty$). Although the tradeoff induced by that regularization is now well understood computationally (OT, SDs and MMD require respectively $O(n^3\log n)$, $O(n^2)$ and $n^2$ operations given a sample size $n$), much less is known in terms of their \emph{sample complexity}, namely the gap between these quantities, when evaluated using finite samples \emph{vs.} their respective densities. Indeed, while the sample complexity of OT and MMD stand at two extremes, $1/n^{1/d}$ for OT in dimension $d$ and $1/\sqrt{n}$ for MMD, that for SDs has only been studied empirically. In this paper, we \emph{(i)} derive a bound on the approximation error made with SDs when approximating OT as a function of the regularizer $\varepsilon$, \emph{(ii)} prove that the optimizers of regularized OT are bounded in a Sobolev (RKHS) ball independent of the two measures and \emph{(iii)} provide the first sample complexity bound for SDs, obtained,by reformulating SDs as a maximization problem in a RKHS. We thus obtain a scaling in $1/\sqrt{n}$ (as in MMD), with a constant that depends however on $\varepsilon$, making the bridge between OT and MMD complete.

研究の動機と目的

• 高次元における正則化 OT のサンプル複雑性の研究を動機づける。
• エントロピー正則化パラメータ ε の関数として、正則化 OT と標準 OT との近似誤差の境界を導出する。
• Sinkhorn 効用関数が入力測度に依存しない Sobolev (RKHS) ボールに収まることを示す。
• Sinkhorn 発散を RKHS 期待値最大化問題として再定式化する。
• Sinkhorn 発散の初の明示的サンプル複雑性境界を提供し、それを MMD および OT と関連付ける。

提案手法

• エントロピ-正則化 OT Wε と真の OT W との間の境界を ε の関数として確立する。
• Sinkhorn ポテンシャルが marginals に依存せず Sobolev (RKHS) 空間で一様に有界であることを証明する。
• SD を RKHS ベースの期待値の最大として再定式化し、カーネル-SGD アプローチを可能にする。
• RKHS ベースの PAC-学習（Bartlett–Mendelson フレームワーク）を適用して、経験的 SD の 1/√n 収束レートを得る。
• ε に依存する定数と収束の漸近を導出し、収束性の系を導く。

実験結果

リサーチクエスチョン

• RQ1 エントロピック正則化パラメータ ε は、正則化 OT と標準 OT の近似誤差 Wε − W にどのような影響を与えるのか。
• RQ2 Sinkhorn ポテンシャルを marginals に依存しない Sobolev/RKHS ボールに境界づけることができ、RKHS ベースの最適化手法を可能にするか。
• RQ3 有限サンプルから推定される Sinkhorn 発散のサンプル複雑性はどの程度か。n および ε に対してどのようにスケールするか。
• RQ4 SD は OT (ε→0) と MMD (ε→∞) の間を統計的効率の点でどのように内挿するのか。
• RQ5 SD を計算する際のカーネル-SGD および RKHS ベースの最適化に関する実践的含意は何か。

主な発見

• Wε(α,β) − W(α,β) ≤ 2ε d log(e^2 L D /(√d ε)) および ε→0 のとき漸近的に ~ 2ε d log(1/ε)。
• Sinkhorn ポテンシャル (u,v) は Sobolev 空間 Hs(R^d) において一様に有界であり、ノルムは O(1+1/ε^{s−1})。
• 正規化 OT 問題の最適解は 測度に依存しない RKHS ボールにあり、カーネルベースの最適化アプローチを可能にする。
• 経験的 Sinkhorn 発散は母集団値へ O(1/√n) の速さで収束し、定数は ε が小さいときは exp(κ/ε)/ε^{⌊d/2⌋} にスケールし、ε が大きいときは ε に依存しなくなる。
• PAC/RKHS ベースの解析は、経験的 SD 誤差の境界を示す： E|Wε(α,β) − Wε(α̂n,β̂n)| = O((e^{κ/ε}/√n)(1+1/ε^{⎣d/2⎦})).
• 系のコーネロリには、経験的誤差を高確率で制御する集中境界が含まれる。