[論文レビュー] Faster Wasserstein Distance Estimation with the Sinkhorn Divergence

Lénaïc Chizat, Pierre Roussillon+3 more|arXiv (Cornell University)|Jun 15, 2020

Geometric Analysis and Curvature Flows参考文献 57被引用数 54

ひとこと要約

本論文は、スムーズな密度間のW2^2をSinkhorn発散を用いて推定することを提案し、エントロピー正則化をより高く可能にし、サンプル複雑度と同等のまま計算を高速化し、効率向上のためのリチャードソン外挿法を用いた変種を提供する。

ABSTRACT

The squared Wasserstein distance is a natural quantity to compare probability distributions in a non-parametric setting. This quantity is usually estimated with the plug-in estimator, defined via a discrete optimal transport problem which can be solved to $ε$-accuracy by adding an entropic regularization of order $ε$ and using for instance Sinkhorn's algorithm. In this work, we propose instead to estimate it with the Sinkhorn divergence, which is also built on entropic regularization but includes debiasing terms. We show that, for smooth densities, this estimator has a comparable sample complexity but allows higher regularization levels, of order $ε^{1/2}$, which leads to improved computational complexity bounds and a strong speedup in practice. Our theoretical analysis covers the case of both randomly sampled densities and deterministic discretizations on uniform grids. We also propose and analyze an estimator based on Richardson extrapolation of the Sinkhorn divergence which enjoys improved statistical and computational efficiency guarantees, under a condition on the regularity of the approximation error, which is in particular satisfied for Gaussian densities. We finally demonstrate the efficiency of the proposed estimators with numerical experiments.

研究の動機と目的

• サンプルデータや離散化データから密度間の W2^2 の効率的な推定を動機づける。
• W2^2 のデバイアスを減らすエントロピー正則化OT推定量として Sinkhorn 発散を導入。
• 正則化とデバイアンス除去の統計的・計算的トレードオフを分析。
• 精度と効率を向上させるリチャードソン外挿変種を開発・分析。
• 提案推定量の理論的下界と数値検証を提供。

提案手法

• Sinkhorn 発散 S_lambda を T_lambda(mu,nu) - 1/2(T_lambda(mu,mu) + T_lambda(nu,nu)) と定義する。
• リチャードソン外挿推定量 R_lambda = 2 S_lambda(mu,nu) - S_{sqrt{2} lambda}(mu,nu) を導入する。
• 正規性の下で |S_lambda(mu,nu) - W2^2(mu,nu)| = O(lambda^2) を示す。二次展開を伴う。
• 標本複雑度の境界を、プラグイン、S_lambda、R_lambda 推定量をサンプリングと離散化の下で比較する。
• Sinkhorn反復の計算複雑度を分析し、lambda選択の実用的ガイドラインを提供する。
• 抽象的正規性仮定およびガウス分布の場合におけるリチャードソン外挿推定量の性能について議論する。

実験結果

リサーチクエスチョン

• RQ1 Sinkhorn 発散はスムーズな密度に対してどうW2^2を近似するか？
• RQ2 エントロピー正則化とデバイアス除去を用いたW2^2の推定における統計的・計算的トレードオフは？
• RQ3 リチャードソン外挿法はW2^2推定においてバイアス-分散のトレードオフを改善する推定量を生み出せるか？
• RQ4 提案推定量はランダムサンプリングとグリッド離散化の下でどう性能が異なるか？
• RQ5 高次元での計算時間と精度に関する実践的・理論的保証は？

主な発見

• Sinkhorn 発散は λ^2 に衰えるデバイアスを持つデバイアス除去推定量を提供し、T_lambda よりも大きな正則化を可能にしつつ精度を維持する。
• 独立サンプルの場合、S_lambda はプラグイン推定量と同等の標本複雑度を達成するが、許容される lambda が大きくなるため計算上の保証が向上する。
• リチャードソン外挿法(R_lambda)は適切な正規性の下でさらにバイアスを低減し効率を改善でき、ガウス分布の場合には明示的な境界がある。
• 周辺分布がグリッド上に離散化される場合、エントロピー正則化は安定性を改善し、リプシッツ連続な対数密度の下で非正則化問題より誤差減衰を速める。
• 実証的結果は、S_lambdaおよびR_lambdaが標準的なプラグインおよびT_lambdaアプローチと比較して計算が速く、精度も有利であることを確認している。