[論文レビュー] Limit distribution theory for smooth $p$-Wasserstein distances

Ziv Goldfeld, Kengo Kato+2 more|arXiv (Cornell University)|Mar 1, 2022

Geometric Analysis and Curvature Flows被引用数 4

ひとこと要約

本稿では、関数的デルタ法と双対ソボレフ空間埋め込みを用いて、経験的滑らかさのある $p$-ウォッサーシュタイン距離の包括的な極限定理理論を確立し、滑らかな経験過程の弱収束と非パラメトリックブートストラップの一貫性を証明する。さらに、2次コストのもとで生成モデルにおける最小距離推定量の漸近正規性を確立する。

ABSTRACT

The Wasserstein distance is a metric on a space of probability measures that has seen a surge of applications in statistics, machine learning, and applied mathematics. However, statistical aspects of Wasserstein distances are bottlenecked by the curse of dimensionality, whereby the number of data points needed to accurately estimate them grows exponentially with dimension. Gaussian smoothing was recently introduced as a means to alleviate the curse of dimensionality, giving rise to a parametric convergence rate in any dimension, while preserving the Wasserstein metric and topological structure. To facilitate valid statistical inference, in this work, we develop a comprehensive limit distribution theory for the empirical smooth Wasserstein distance. The limit distribution results leverage the functional delta method after embedding the domain of the Wasserstein distance into a certain dual Sobolev space, characterizing its Hadamard directional derivative for the dual Sobolev norm, and establishing weak convergence of the smooth empirical process in the dual space. To estimate the distributional limits, we also establish consistency of the nonparametric bootstrap. Finally, we use the limit distribution theory to study applications to generative modeling via minimum distance estimation with the smooth Wasserstein distance, showing asymptotic normality of optimal solutions for the quadratic cost.

研究の動機と目的

• ウォッサーシュタイン距離の統計的推論における次元の呪いを克服するため、ガウス平滑化を活用してパラメトリック収束率を達成すること。
• 既存の結果が $p=1$ に限られていたことから、$p > 1$ の場合における経験的滑らかな $p$-ウォッサーシュタイン距離の厳密な極限定理理論を構築すること。
• 双対ソボレフ空間における滑らかな経験過程の弱収束を確立し、滑らかなウォッサーシュタイン距離のハダマール方向微分を特徴付けること。
• 非パラメトリックブートストラップの一貫性を証明することで、統計的推論の妥当性を検証すること。
• 極限定理を生成モデルにおける最小距離推定に応用し、2次コストのもとで最適パラメータの漸近正規性を示すこと。

提案手法

• 滑らかな $p$-ウォッサーシュタイン距離の定義域を双対ソボレフ空間 $\dot{H}^{-1,p}(\mu * \gamma_\sigma)$ に埋め込み、関数解析的手法を可能にする。
• 双対ソボレフノルムにおける滑らかなウォッサーシュタイン距離のハダマール方向微分を特徴付けることで、関数的デルタ法の適用を可能にする。
• やや弱いモーメント条件のもとで、滑らかな経験過程 $\tilde{\mathbb{G}}_n^{(\sigma)}$ が双対ソボレフ空間で弱収束することを確立する。
• 関数的デルタ法を適用して、$\sqrt{n} \, \mathsf{W}_p^{(\sigma)}(\hat{\mu}_n, \mu)$ の漸近分布を、tightなガウス過程の上限として導出する。
• 滑らかなウォッサーシュタイン距離の分布極限を推定するための非パラメトリックブートストラップの一貫性を証明する。
• 極限定理を用いて生成モデルにおける最小距離推定を分析し、2次コストのもとで最適パラメータが漸近正規であることを示す。

実験結果

リサーチクエスチョン

• RQ1 $p > 1$ の場合に、積分確率的度量構造の欠如を克服して、経験的滑らかな $p$-ウォッサーシュタイン距離の極限定理理論を開発できるか？
• RQ2 滑らかな $p$-ウォッサーシュタイン距離は、元の $p$-ウォッサーシュタイン距離の距離的および位相的性質を保ちつつ、パラメトリック収束率を達成できるか？
• RQ3 双対ソボレフ空間埋め込みを介して関数的デルタ法を滑らかなウォッサーシュタイン距離に適用でき、経験過程の弱収束を導けるか？
• RQ4 非パラメトリックブートストラップは、滑らかなウォッサーシュタイン距離の漸近分布を推定するために一貫性を示すか？
• RQ5 極限定理理論は、滑らかなウォッサーシュタイン距離を用いた生成モデルにおける最小距離推定の漸近正規性を可能にするか？

主な発見

• やや弱いモーメント条件のもとで、次元 $d$ のすべての次元において、スケーリングされた経験的滑らかな $p$-ウォッサーシュタイン距離 $\sqrt{n} \, \mathsf{W}_p^{(\sigma)}(\hat{\mu}_n, \mu)$ は、tightなガウス過程の上限に分布収束する。
• 極限定理は、双対ソボレフ空間 $\dot{H}^{-1,p}(\mu * \gamma_\sigma)$ における滑らかな経験過程 $\tilde{\mathbb{G}}_n^{(\sigma)}$ の弱収束を通じて特徴付けられる。
• 滑らかなウォッサーシュタイン距離のハダマール方向微分は、双対ソボレフノルムにおいて完全に特徴付けられており、関数的デルタ法の適用を可能にする。
• 滑らかな $p$-ウォッサーシュタイン距離の漸近分布を推定するための非パラメトリックブートストラップは一貫性を示し、妥当な推論を支援する。
• 2次コストを用いた生成モデルにおける最小距離推定では、最適パラメータ推定量は漸近正規であり、収束速度は $n^{-1/2}$ である。
• 理論により、ガウス平滑化が元の $p$-ウォッサーシュタイン距離の距離的および位相的構造を保ちつつ、次元の呪いを排除することが確認された。