[論文レビュー] Smooth $p$-Wasserstein Distance: Structure, Empirical Approximation, and Statistical Applications

Sloan Nietert, Ziv Goldfeld+1 more|arXiv (Cornell University)|Jan 11, 2021

Geometric Analysis and Curvature Flows参考文献 45被引用数 9

ひとこと要約

本稿では、ガウススムージングを施した $p$-ウォッサーテイン距離 $\mathsf{W}_p^{(\sigma)}$ を導入・分析し、古典的ウォッサーテイン距離が持つ距離的および位相的性質を継承するとともに、すべての次元 $d$ において $n^{-1/2}$ のパrametricな経験的収束レートを達成することを示している。これは、スムージングを施さない $\mathsf{W}_p$ の $n^{-1/d}$ レートとは対照的である。主な貢献は、$p$ 階微分可能な滑らかなソボレフ距離 $\mathsf{d}_p^{(\sigma)}$ との新しい関係を確立することで、$\mathsf{W}_p^{(\sigma)}$ を用いた高速かつスケーラブルな統計的推論の理論的基盤を提供することにある。

ABSTRACT

Discrepancy measures between probability distributions, often termed statistical distances, are ubiquitous in probability theory, statistics and machine learning. To combat the curse of dimensionality when estimating these distances from data, recent work has proposed smoothing out local irregularities in the measured distributions via convolution with a Gaussian kernel. Motivated by the scalability of this framework to high dimensions, we investigate the structural and statistical behavior of the Gaussian-smoothed $p$-Wasserstein distance $\mathsf{W}_p^{(σ)}$, for arbitrary $p\geq 1$. After establishing basic metric and topological properties of $\mathsf{W}_p^{(σ)}$, we explore the asymptotic statistical behavior of $\mathsf{W}_p^{(σ)}(\hatμ_n,μ)$, where $\hatμ_n$ is the empirical distribution of $n$ independent observations from $μ$. We prove that $\mathsf{W}_p^{(σ)}$ enjoys a parametric empirical convergence rate of $n^{-1/2}$, which contrasts the $n^{-1/d}$ rate for unsmoothed $\mathsf{W}_p$ when $d \geq 3$. Our proof relies on controlling $\mathsf{W}_p^{(σ)}$ by a $p$th-order smooth Sobolev distance $\mathsf{d}_p^{(σ)}$ and deriving the limit distribution of $\sqrt{n}\,\mathsf{d}_p^{(σ)}(\hatμ_n,μ)$, for all dimensions $d$. As applications, we provide asymptotic guarantees for two-sample testing and minimum distance estimation using $\mathsf{W}_p^{(σ)}$, with experiments for $p=2$ using a maximum mean discrepancy formulation of $\mathsf{d}_2^{(σ)}$.

研究の動機と目的

• 高次元における経験的ウォッサーテイン距離推定の次元の呪いを緩和すること。これは、高次元において $n^{-1/d}$ の遅い収束レートを示すためである。
• ガウススムージングを導入することで、古典的 $\mathsf{W}_p$ の理論的裏付けが保証された、スケーラブルな代替手法を構築すること。
• スムージング済み $\mathsf{W}_p^{(\sigma)}$ の距離的および位相的構造を確立し、$\sigma$ の小さな摂動に対しての安定性を示すこと。
• $\sqrt{n}\,\mathsf{W}_p^{(\sigma)}(\hat{\mu}_n, \mu)$ の漸近的分布を、一般の $p \geq 1$ およびすべての次元 $d$ に対して導出すること。
• $\mathsf{W}_p^{(\sigma)}$ を用いた二標本適合度検定および最小距離推定の統計的保証を提供し、実験により検証すること。

提案手法

• 本稿では、$\mathcal{N}_\sigma$ を等方的ガウスカーネルとするとき、$\mathsf{W}_p^{(\sigma)}(\mu, \nu) = \mathsf{W}_p(\mu * \mathcal{N}_\sigma, \nu * \mathcal{N}_\sigma)$ としてスムージング済み $p$-ウォッサーテイン距離を定義する。
• $\mathsf{W}_p^{(\sigma)}$ が距離であり、$\mathsf{W}_p$ と同じ位相を誘導することを確立し、$\sigma$ の小さな変化に対しても安定していることを示す。
• 主な手法的イノベーションは、$\mathsf{W}_p^{(\sigma)}$ の収束解析を可能にするために、$p$ 階微分可能な滑らかなソボレフ距離 $\mathsf{d}_p^{(\sigma)}$ を代理変数として用いることにある。
• $\sqrt{n}\,\mathsf{d}_p^{(\sigma)}(\hat{\mu}_n, \mu)$ が緊密なガウス過程に分布収束することを証明することで、$\mathsf{W}_p^{(\sigma)}$ に対して $n^{-1/2}$ のパrametric レートを導出する。
• 理論的結果は、勾配の $L^p$-閉包による $\dot{H}^{1,p}(\gamma)$ の新しい構成的定式化により支持されており、関数空間の一貫性を保証する。
• 経験的検証では、$p=2$ の場合に $\mathsf{d}_2^{(\sigma)}$ の最大平均差分形式を用い、合成および実データを用いた実験により収束性と統計的有用性を示している。

実験結果

リサーチクエスチョン

• RQ1 ガウススムージングを施した $p$-ウォッサーテイン距離 $\mathsf{W}_p^{(\sigma)}$ は構造的にどのように振る舞うか。これは、古典的 $\mathsf{W}_p$ が持つ距離的および位相的性質を保持しているか。
• RQ2 $\mathsf{W}_p^{(\sigma)}(\hat{\mu}_n, \mu)$ の経験的収束レートは、標本サイズ $n$ と次元 $d$ の関数としてどのように変化するか。
• RQ3 $\sqrt{n}\,\mathsf{W}_p^{(\sigma)}(\hat{\mu}_n, \mu)$ の極限分布は、次元に依存してどのように振る舞い、一般の $p \geq 1$ に対して特徴づけられるか。
• RQ4 $\mathsf{W}_p^{(\sigma)}$ は、漸近的保証のもとで二標本適合度検定および最小距離推定に信頼性をもって使用可能か。
• RQ5 $\mathsf{W}_p^{(\sigma)}$ と $p$ 階微分可能な滑らかなソボレフ距離 $\mathsf{d}_p^{(\sigma)}$ の関係は何か。この関係は、収束制御にどのように活用できるか。

主な発見

• $\mathsf{W}_p^{(\sigma)}$ は距離であり、古典的 $\mathsf{W}_p$ と同じ位相を誘導する。これにより、構造的一致性が保証される。
• やや厳しいモーメント条件の下で、$\mathsf{W}_p^{(\sigma)}$ はすべての次元 $d$ においてパrametricな経験的収束レート $n^{-1/2}$ を達成する。これは、$d \geq 3$ のとき、スムージングなしの $\mathsf{W}_p$ が示す $n^{-1/d}$ レートとは対照的である。
• $\sqrt{n}\,\mathsf{W}_p^{(\sigma)}(\hat{\mu}_n, \mu)$ の極限分布は、緊密なガウス過程の上界に収束することが示され、すべての $d$ に対して漸近的推論が可能になる。
• $\mathsf{d}_2^{(\sigma)}$ 距離を用いて、$\mathbb{E}[\mathsf{W}_2^{(\sigma)}(\hat{\mu}_n, \mu)]$ の上界を導出し、$\mathbb{E}[\mathsf{W}_2^{(\sigma)}(\hat{\mu}_n, \mu)] \leq 2e^{\mathbb{E}[|X|^2]/(4\sigma^2)} \left(\mathbb{E}[\kappa^{(\sigma)}(X,X)] - \mathbb{E}[\kappa^{(\sigma)}(X,X')]\right)^{1/2} n^{-1/2}$ を得た。
• 実験により、$p=2$ の場合に $n^{-1/2}$ の収束レートが確認され、$\mathsf{W}_p^{(\sigma)}$ が二標本適合度検定および最小距離推定において有用であることが示された。
• 理論的結果は、関数空間 $\dot{H}^{1,p}(\gamma)$ を $\mathbb{R}^d$ 上の関数のバナッハ空間として構成的に特徴づけることで支持されており、関数解析的厳密性が保証されている。