[論文レビュー] Approximating the Quadratic Transportation Metric in Near-Linear Time

Jason M. Altschuler, Francis Bach+2 more|arXiv (Cornell University)|Oct 23, 2018

Data Management and Algorithms参考文献 40被引用数 13

ひとこと要約

本稿では、エントロピー正則化、近似Sinkhornスケーリング、およびガウスカーネル行列の低ランク近似を活用することで、2-Wasserstein距離（2次コスト関数による輸送距離）を近似的に、ほぼ線形時間O(n log n)で計算する決定的アルゴリズムを提示する。この手法により、次元と精度の明示的依存関係を伴い、二乗2-Wasserstein距離に対して加法的ε-近似が達成される。

ABSTRACT

Computing the quadratic transportation metric (also called the $2$-Wasserstein distance or root mean square distance) between two point clouds, or, more generally, two discrete distributions, is a fundamental problem in machine learning, statistics, computer graphics, and theoretical computer science. A long line of work has culminated in a sophisticated geometric algorithm due to Agarwal and Sharathkumar in 2014, which runs in time $ ilde{O}(n^{3/2})$, where $n$ is the number of points. However, obtaining faster algorithms has proven difficult since the $2$-Wasserstein distance is known to have poor sketching and embedding properties, which limits the effectiveness of geometric approaches. In this paper, we give an extremely simple deterministic algorithm with $ ilde{O}(n)$ runtime by using a completely different approach based on entropic regularization, approximate Sinkhorn scaling, and low-rank approximations of Gaussian kernel matrices. We give explicit dependence of our algorithm on the dimension and precision of the approximation.

研究の動機と目的

• 2次コスト関数のスケッチと埋め込みの性質が悪いという既知の制限にもかかわらず、2-Wasserstein距離がほぼ線形時間で近似可能かどうかという長年の未解決問題に取り組むこと。
• 幾何的手法を阻害する2次コスト関数の劣悪なスケッチおよび埋め込み性質を克服すること。
• 次元dと近似誤差εに明示的な依存関係を持つ、決定的で効率的なアルゴリズムを提供すること。
• 最適カップリングにおける低ランク構造が、従来の幾何的手法に依存せずにほぼ線形時間での計算を可能にすることを示すこと。

提案手法

• エントロピー正則化を用いて、最適輸送問題を滑らかで正則化された最適化問題に変換する。
• 近似Sinkhornスケーリングを適用し、低ランク構造を持つ正則化カップリング行列を効率的に計算する。
• ガウスカーネル行列の低ランク近似を活用して計算複雑度を低減する。
• 反復的射影により、周辺制約を満たすために対角スケーリング行列D₁とD₂を維持・更新する。
• 格納および計算コストを削減するために、行列を因数分解形式で暗黙的に表現する。
• エントロピーとコスト行列の摂動解析を通じて、部分最適性ギャップを制御することで精度を保証する。

実験結果

リサーチクエスチョン

• RQ1 2次コスト関数のスケッチおよび埋め込みの性質が悪いにもかかわらず、2-Wasserstein距離はほぼ線形時間で近似可能か？
• RQ2 エントロピー正則化と低ランク近似を用いることで、2次輸送距離のほぼ線形時間計算が可能か？
• RQ3 実行時間の次元dおよび近似誤差εへの明示的依存関係は何か？
• RQ4 正則化と低ランク構造を用いることで、スケッチおよび埋め込みに依存する幾何的アルゴリズムを回避できるか？

主な発見

• アルゴリズムは、低ランク近似のランクをrとして、O(nr log n)時間で二乗2-Wasserstein距離に対して加法的ε-近似を達成する。
• 実行時間はO(nr(1 + log n / (εd)) log n / ε²)であり、rは(e + 900 log n / (εd))ᵈで有界であるため、次元と精度の明示的依存関係が示される。
• 本手法は、次元dと近似誤差εに明示的な依存関係を持つ決定的アルゴリズムを提供し、幾何的手法による従来の最良のO(n³ᐟ²)を改善したO(n)の実行時間となる。
• 部分最適性ギャップは、誤差を4つの成分に分解し、エントロピーの上限、摂動解析、周辺確率のずれをそれぞれ制御することで境界が与えられる。
• 正則化と低ランク構造を用いることで、スケッチおよび埋め込みの制限を回避し、成功裏に克服した。