[論文レビュー] Convergence of Gaussian-smoothed optimal transport distance with sub-gamma distributions and dependent samples

Yixing Zhang, Xiuyuan Cheng+1 more|arXiv (Cornell University)|Mar 18, 2021

Markov Chains and Monte Carlo Methods被引用数 2

ひとこと要約

本稿は、一般の条件下でガウス平滑化最適輸送（GOT）距離の収束保証を確立し、d次元においてd + 2pより大きいモーメント条件が唯一必要であることを示している。また、GOTをサブガンマ分布および従属サンプルへと拡張し、GOTとカーネルMMD距離を結びつけることで、次元依存のフェーズ転移と弱い従属性下でのロバスト性を実現した。

ABSTRACT

The Gaussian-smoothed optimal transport (GOT) framework, recently proposed by Goldfeld et al., scales to high dimensions in estimation and provides an alternative to entropy regularization. This paper provides convergence guarantees for estimating the GOT distance under more general settings. For the Gaussian-smoothed $p$-Wasserstein distance in $d$ dimensions, our results require only the existence of a moment greater than $d + 2p$. For the special case of sub-gamma distributions, we quantify the dependence on the dimension $d$ and establish a phase transition with respect to the scale parameter. We also prove convergence for dependent samples, only requiring a condition on the pairwise dependence of the samples measured by the covariance of the feature map of a kernel space. A key step in our analysis is to show that the GOT distance is dominated by a family of kernel maximum mean discrepancy (MMD) distances with a kernel that depends on the cost function as well as the amount of Gaussian smoothing. This insight provides further interpretability for the GOT framework and also introduces a class of kernel MMD distances with desirable properties. The theoretical results are supported by numerical experiments.

研究の動機と目的

• i.i.d.サンプルおよび軽尾分布を超えたガウス平滑化最適輸送（GOT）の収束保証を拡張すること。
• d次元においてd + 2pより大きいモーメントの存在を唯一要件とするより弱いモーメント条件の下での収束を確立すること。
• スケールパラメータが収束速度に与える影響を定量化することで、サブガンマ分布データ下でのGOTの挙動を分析すること。
• 特徴写像の共分散条件を課すことにより、従属サンプルに対しても収束を証明すること。
• GOTとカーネル最大平均差分（MMD）を統一するため、GOTがコスト関数および平滑化に依存するカーネルに基づくMMD距離の族に支配されることを示すこと。

提案手法

• GOT距離の収束バウンドを、元の分布のモーメント条件に基づいて導出する。具体的には、d + 2pより大きいモーメントを要件とする。
• スケールパラメータと次元dへの依存性を分析することで、サブガンマ分布下での収束行動を特徴づけ、フェーズ転移を明らかにする。
• 再生核ヒルベルト空間（RKHS）における特徴写像の共分散条件を用いて従属サンプルをモデル化し、弱い従属性下でも収束を保証する。
• GOTとカーネルMMDの理論的リンクを確立する。GOT距離が、コスト関数とガウス平滑化に依存するカーネルに基づくMMD距離の族に支配されることを示す。
• このカーネル-MMD接続を用いて、GOTを正則化されたMMDとして解釈し、解釈可能性を向上させるとともに、新たな理論的解析を可能にする。

実験結果

リサーチクエスチョン

• RQ1 高次元設定下で、ガウス平滑化最適輸送距離が収束するためのモーメント条件は何か？
• RQ2 サブガンマ分布データに対してGOTの収束速度はどのように振る舞い、スケールパラメータに関してフェーズ転移が生じるか？
• RQ3 GOTの収束保証を従属サンプルへと拡張可能か？また、どのような従属構造が必要か？
• RQ4 GOTとカーネル最大平均差分（MMD）の関係は何か？この接続を理論的解析にどう活用できるか？
• RQ5 ガウス平滑化の選択が、高次元におけるGOT距離の収束特性にどのように影響するか？

主な発見

• ガウス平滑化最適輸送距離は、d + 2pより大きいp次のモーメントが存在する最小のモーメント条件のもとで収束し、重尾データを含む高次元設定での推定を可能にする。
• サブガンマ分布に対しては、収束速度がスケールパラメータに依存するフェーズ転移を示し、次元に比べてスケールが小さい場合にはより速い収束を示す。
• 特徴写像の共分散条件を満たすカーネル空間において、弱い従属性下でも収束が保証され、i.i.d.の結果を弱い従属列へと一般化する。
• GOT距離は、コスト関数とガウス平滑化の程度に依存するカーネルに基づくMMD距離の族に支配され、これにより新たな解釈フレームワークが提供される。
• このカーネル-MMD接続により、GOTがMMDが有する良好な性質（ロバスト性、取り扱いやすさ）を継承するとともに、最適輸送の幾何的直感を維持していることが明らかになった。