[論文レビュー] Estimation of Wasserstein distances in the Spiked Transport Model

Jonathan Niles‐Weed, Philippe Rigollet|arXiv (Cornell University)|Sep 16, 2019

Markov Chains and Monte Carlo Methods被引用数 9

ひとこと要約

本稿では、2つの確率分布が低次元部分空間上でのみ異なるという統計的枠組み、いわゆるスパイク付き輸送モデルを導入する。このモデルにより、Wasserstein距離の効率的推定が可能となり、次元の呪いを回避する。本稿では、このモデルのもとでWasserstein距離の推定が近似的に最小最大最適なレートで達成できることを確立し、計算的に効率的な推定量がこの低次元構造を活用できない可能性を示唆する統計的・計算的ギャップの証拠も提示する。

ABSTRACT

We propose a new statistical model, the spiked transport model, which formalizes the assumption that two probability distributions differ only on a low-dimensional subspace. We study the minimax rate of estimation for the Wasserstein distance under this model and show that this low-dimensional structure can be exploited to avoid the curse of dimensionality. As a byproduct of our minimax analysis, we establish a lower bound showing that, in the absence of such structure, the plug-in estimator is nearly rate-optimal for estimating the Wasserstein distance in high dimension. We also give evidence for a statistical-computational gap and conjecture that any computationally efficient estimator is bound to suffer from the curse of dimensionality.

研究の動機と目的

• 確率分布における低次元構造を形式化し、Wasserstein距離の効率的推定を可能にする。
• スパイク付き輸送モデルのもとでWasserstein距離推定の最小最大最適レートを確立する。
• 低次元構造が存在しない状況において、プラグイン推定量がほぼレート最適であることを示し、次元の呪いを確認する。
• スパイク付き輸送モデルのもとで、Wasserstein距離推定における統計的・計算的ギャップの存在を調査する。

提案手法

• 2つの分布が低次元部分空間上でのみ異なるというスパイク付き輸送モデルを提案。これは最適輸送における一般的な仮定を形式化する。
• Wasserstein射影追求（WPP）を導入。高次元データを低次元部分空間に射影することで、Wasserstein距離の効率的推定を実現する。
• 射影追求を用いて低次元構造を活用し、スパイク付き輸送モデルのもとでWPPが近似的に最適な推定レートを達成することを示す。
• 統計的クエリフレームワークを用いて、統計的・計算的ギャップの証拠を提示。計算的に効率的な推定量は、最適ではあるが計算が非効率なWPPと同等のレートに到達できない可能性があると示唆する。
• 集中不等式および輸送エントロピー不等式を用いて、モデル下でのWasserstein距離のサブガウス型尾部バウンドを導出する。
• 最適カップリングおよび特異値分解を用いて、部分空間の整合性と推定誤差の関係を定式化する。

実験結果

リサーチクエスチョン

• RQ1 低次元構造の仮定のもとで、Wasserstein距離推定における次元の呪いを克服できるか？
• RQ2 スパイク付き輸送モデルのもとで、Wasserstein距離推定の最小最大レートは何か？
• RQ3 Wasserstein距離推定において、計算的に効率的な推定量が最適レートに到達できないという統計的・計算的ギャップが存在するか？
• RQ4 高次元設定において、プラグイン推定量はより洗練された手法と比べてどのように異なるか？
• RQ5 射影に基づく手法（例：WPP）は、低次元構造をどの程度活用して推定レートを向上させられるか？

主な発見

• スパイク付き輸送モデルのもとでは、次元の呪いを回避するレートでWasserstein距離が推定可能であり、近似的に最小最大最適な性能を達成する。
• 低次元構造が存在しない状況において、プラグイン推定量がほぼレート最適であることが示され、$n^{-1/d}$ レートが本質的に最小最大最適であることが確認された。
• 提案されたWasserstein射影追求（WPP）推定量は、低次元部分空間構造を活用することで、近似的に最適なレートを達成する。
• 統計的・計算的ギャップが強く示唆される：計算的に効率的な推定量は、スパイク付き輸送モデルのもとで最適レートに到達することはおそらくない。
• 真の部分空間と推定された部分空間の整合性は、射影されたWasserstein距離の推定誤差によって定量的に制約される。
• 解析により、スパイクモデルにおける最適カップリングが、移動量を低次元部分空間に集中させることを示した。これにより、効率的な推定が可能となる。