[論文レビュー] From Smooth Wasserstein Distance to Dual Sobolev Norm: Empirical Approximation and Statistical Applications

Sloan Nietert, Ziv Goldfeld+1 more|arXiv (Cornell University)|Jan 11, 2021

Topological and Geometric Data Analysis参考文献 70被引用数 4

ひとこと要約

本稿では、統計的推定における次元の Curse を克服するために、ガウス平滑化された $p$- Wasserstein 距離 $\mathsf{W}_p^{(\sigma)}$ を導入する。双対ソボレフノルム $\mathsf{d}_p^{(\sigma)}$ によって制御されることを示すことにより、高次元においてパrametric な $n^{-1/2}$ 収束速度を確立し、滑らかでない Wasserstein 距離の $n^{-1/d}$ とは対照的に、2標本検定および最小距離推定の漸近的分布を導出する。

ABSTRACT

Statistical distances, i.e., discrepancy measures between probability distributions, are ubiquitous in probability theory, statistics and machine learning. To combat the curse of dimensionality when estimating these distances from data, recent work has proposed smoothing out local irregularities in the measured distributions via convolution with a Gaussian kernel. Motivated by the scalability of the smooth framework to high dimensions, we conduct an in-depth study of the structural and statistical behavior of the Gaussian-smoothed $p$-Wasserstein distance $\mathsf{W}_p^{(\sigma)}$, for arbitrary $p\geq 1$. We start by showing that $\mathsf{W}_p^{(\sigma)}$ admits a metric structure that is topologically equivalent to classic $\mathsf{W}_p$ and is stable with respect to perturbations in $\sigma$. Moving to statistical questions, we explore the asymptotic properties of $\mathsf{W}_p^{(\sigma)}(\hat{\mu}_n,\mu)$, where $\hat{\mu}_n$ is the empirical distribution of $n$ i.i.d. samples from $\mu$. To that end, we prove that $\mathsf{W}_p^{(\sigma)}$ is controlled by a $p$th order smooth dual Sobolev norm $\mathsf{d}_p^{(\sigma)}$. Since $\mathsf{d}_p^{(\sigma)}(\hat{\mu}_n,\mu)$ coincides with the supremum of an empirical process indexed by Gaussian-smoothed Sobolev functions, it lends itself well to analysis via empirical process theory. We derive the limit distribution of $\sqrt{n}\mathsf{d}_p^{(\sigma)}(\hat{\mu}_n,\mu)$ in all dimensions $d$, when $\mu$ is sub-Gaussian. Through the aforementioned bound, this implies a parametric empirical convergence rate of $n^{-1/2}$ for $\mathsf{W}_p^{(\sigma)}$, contrasting the $n^{-1/d}$ rate for unsmoothed $\mathsf{W}_p$ when $d \geq 3$. As applications, we provide asymptotic guarantees for two-sample testing and minimum distance estimation. When $p=2$, we further show that $\mathsf{d}_2^{(\sigma)}$ can be expressed as a maximum mean discrepancy.

研究の動機と目的

• 確率測度間の統計的距離を推定する際の次元の Curse を解決すること。
• 高次元設定における $p$- Wasserstein 距離のスケーラブルで安定したフレームワークの構築。
• 経験過程法を用いた平滑化 Wasserstein 距離の経験的推定の漸近理論の確立。
• 平滑化距離に基づく2標本検定および最小距離推定の統計的保証の提供。
• 平滑化 Wasserstein 距離と双対ソボレフノルムの関係の特定。

提案手法

• 分布にガウスカーネルを畳み込むことで局所的不規則性を軽減し、ガウス平滑化された $p$- Wasserstein 距離 $\mathsf{W}_p^{(\sigma)}$ を定義する。
• $\mathsf{W}_p^{(\sigma)}$ が標準的 $\mathsf{W}_p$ と位相的に同値であり、$\sigma$ の摂動に対して安定であることを証明する。
• $\mathsf{W}_p^{(\sigma)}$ が $p$ 階の双対ソボレフノルム $\mathsf{d}_p^{(\sigma)}$ によって制御されることを確立し、ガウス平滑化されたソボレフ関数上の経験過程の本質的上限を測定する。
• 経験過程理論を用いて、$\mu$ がサブガウス的である場合の $\sqrt{n}\,\mathsf{d}_p^{(\sigma)}(\hat{\mu}_n, \mu)$ の漸近的分布を導出する。
• $p=2$ のとき、$\mathsf{d}_2^{(\sigma)}$ がガウス平滑化下での最大平均差分（MMD）と一致することを示す。
• 双対ソボレフノルムを活用して、パrametric 収束速度および統計的推論の保証を導出する。

実験結果

リサーチクエスチョン

• RQ1 ガウス平滑化された $p$- Wasserstein 距離 $\mathsf{W}_p^{(\sigma)}$ は、高次元において滑らかでない $\mathsf{W}_p$ よりも速い収束速度を達成できるか？
• RQ2 双対ソボレフノルム $\mathsf{d}_p^{(\sigma)}$ と平滑化 Wasserstein 距離 $\mathsf{W}_p^{(\sigma)}$ の関係は何か？
• RQ3 サブガウス的 $\mu$ に対して $\sqrt{n}\,\mathsf{d}_p^{(\sigma)}(\hat{\mu}_n, \mu)$ の漸近的分布は何か？
• RQ4 平滑化 Wasserstein 距離は、漸近的保証を伴う有効な2標本検定および最小距離推定を可能にするか？
• RQ5 $\mathsf{d}_2^{(\sigma)}$ と最大平均差分（MMD）の間に何らかの関係があるか？

主な発見

• $\mathsf{W}_p^{(\sigma)}$ は標準的 $\mathsf{W}_p$ と位相的に同値であり、$\sigma$ の微小な変化に対しても安定である。
• $\mathsf{W}_p^{(\sigma)}$ は双対ソボレフノルム $\mathsf{d}_p^{(\sigma)}$ によって制御され、これにより経験過程解析が可能となる。
• サブガウス的 $\mu$ に対して、$\sqrt{n}\,\mathsf{d}_p^{(\sigma)}(\hat{\mu}_n, \mu)$ の漸近的分布がすべての次元 $d$ で導出された。
• $\mathsf{W}_p^{(\sigma)}$ の経験的収束速度は $n^{-1/2}$ であり、これは次元に依存しないパrametric な速度であり、$d \geq 3$ のとき滑らかでない $\mathsf{W}_p$ の $n^{-1/d}$ とは対照的である。
• $p=2$ のとき、双対ソボレフノルム $\mathsf{d}_2^{(\sigma)}$ はガウス平滑化下での最大平均差分（MMD）と等価である。
• 2標本検定および最小距離推定に対して、平滑化距離フレームワークを用いて漸近的保証が確立された。