[論文レビュー] Distributional Convergence of the Sliced Wasserstein Process

Jiaqi Xi, Jonathan Niles‐Weed|arXiv (Cornell University)|Jun 1, 2022

Geometric Analysis and Curvature Flows被引用数 5

ひとこと要約

本稿では、高次元確率測度のすべての一次元的射影における経験的 Wasserstein 距離をモデル化する確率過程である Sliced Wasserstein Process を導入する。均一な分布収束極限定理を確立し、多様なスライス Wasserstein 距離の漸近的分布を統一的に導出可能にする枠組みを提供する。これにより、これまで未解析のケースを含め、すべてのバージョンにおいて有効な信頼区間とブートストラップ推論が可能になる。

ABSTRACT

Motivated by the statistical and computational challenges of computing Wasserstein distances in high-dimensional contexts, machine learning researchers have defined modified Wasserstein distances based on computing distances between one-dimensional projections of the measures. Different choices of how to aggregate these projected distances (averaging, random sampling, maximizing) give rise to different distances, requiring different statistical analyses. We define the \emph{Sliced Wasserstein Process}, a stochastic process defined by the empirical Wasserstein distance between projections of empirical probability measures to all one-dimensional subspaces, and prove a uniform distributional limit theorem for this process. As a result, we obtain a unified framework in which to prove distributional limit results for all Wasserstein distances based on one-dimensional projections. We illustrate these results on a number of examples where no distributional limits were previously known.

研究の動機と目的

• 機械学習で広く用いられているが、統合的な分布理論を欠いている多様なスライス Wasserstein 距離を分析するための統一的統計枠組みの欠如に対処すること。
• 次元の呪いと遅い収束性に苦しむ高次元 Wasserstein 距離の統計的・計算的課題を克服すること。
• 高次元空間内のすべての方向における射影 Wasserstein 距離の経験的挙動を捉える、Sliced Wasserstein Process と呼ばれる確率過程を構築すること。
• この過程に対して一様な分布収束極限定理を証明し、すべての射影に基づく Wasserstein 距離を同時に漸近的推論可能にする。
• 従来の標準的スライス Wasserstein 距離に加え、max-sliced、distributional sliced およびその他の変種に対しても、これまで未知であった分布収束極限を含む結果を拡張すること。

提案手法

• Sliced Wasserstein Process を、すべての一次元部分空間への方向 $ u \in \mathbb{S}^{d-1} $ に沿った経験測度の射影間の経験的 Wasserstein 距離として定義する。
• この過程を $ \ell^\infty(\mathbb{S}^{d-1}) $ 内の確率的要素としてモデル化し、写像 $ u \mapsto W_p^p(P_n^u, Q_n^u) $ を表す。ここで $ P_n^u, Q_n^u $ は経験的射影を表す。
• コン pact な台を持つ連結な測度を仮定し、$ \mathbb{R}^d $ 上で $ p > 1 $ の場合に、[HKSM22] の双対性に基づく技術を用いて、過程の中心極限定理を導出する。
• 関数解析的 delta 法と Hadamard 異常微分可能性を用いて、過程の汎関数（例えば、上界、振幅、積分など）への極限定理を拡張する。
• 再スケーリングされた過程が、基礎となる測度に由来する明示的な分散構造を持つ、$ \mathbb{S}^{d-1} $ にインデックス付けられたガウス過程に分布収束することを確立する。
• 有限標本分布が理論的ガウス極限に収束し、さまざまな標本サイズでブートストラップの一貫性を示すシミュレーションにより理論を検証する。

実験結果

リサーチクエスチョン

• RQ1 すべての一次元的射影に基づく Wasserstein 距離（スライス、max-sliced、distributional sliced など）の漸近的解析を統一する、1つの確率過程フレームワークが可能か？
• RQ2 高次元空間におけるすべての方向にわたる経験的射影 Wasserstein 距離の同時極限分布は何か？
• RQ3 Sliced Wasserstein Process は、$ \mathbb{S}^{d-1} $ 上の有界関数空間において、tight なガウス過程に弱収束するか？これにより一般の汎関数に対する推論が可能になるか？
• RQ4 従来の分布収束極限が不明であった場合でも、理論が有効な信頼区間とブートストラップ推論をすべての距離に対して可能にするか？
• RQ5 有限標本分布とブートストラップ近似は、理論的極限とどの程度一致するか？特に、さまざまなリサンプリングスキーム下でどうか？

主な発見

• Sliced Wasserstein Process は、$ \mathbb{S}^{d-1} $ にインデックス付けられたtight なガウス過程に弱収束し、すべての射影 Wasserstein 距離に対する一様中心極限定理を確立する。
• $ \sqrt{n} \left( SW_p^p(P_n, Q_n) - SW_p^p(P, Q) \right) $ の極限分布は、基礎となる測度と射影方向に依存するガウス分布である。
• max-sliced Wasserstein 距離の場合は、テスト例で分散が $ \frac{5}{12} $ のガウス分布に漸近的に収束し、理論的予測と一致する。
• 過程の振幅汎関数（$ \sup W_p^p - \inf W_p^p $ として定義）はガウス分布に収束し、方向にわたる極限の一様性が確認される。
• 全リサンプリング（$ l = n $）を用いたブートストラップ近似は、サブサンプル代替より有限標本分布をよりよく再現しており、プラグインブートストラップの有効性を支持する。
• シミュレーションにより、過程の経験的分布が標本サイズの増加に伴い理論的ガウス極限に収束することが確認され、複数の例にわたる漸近理論の妥当性が裏付けられる。