[論文レビュー] Two-sample Test using Projected Wasserstein Distance: Breaking the Curse of Dimensionality.

Jie Wang, Rui Gao+1 more|arXiv (Cornell University)|Oct 22, 2020

Anomaly Detection Techniques and Applications参考文献 41被引用数 4

ひとこと要約

本稿では、2標本検定における次元の呪いを克服するため、低次元線形射影を最適化して射影された分布間の Wasserstein 距離を最大化する、射影 Wasserstein 距離を提案する。この手法は、有限標本収束速度を向上させるとともに、高次元でも検出力の維持を実現し、理論的保証と実用的なアルゴリズムを提供する。

ABSTRACT

We develop a projected Wasserstein distance for the two-sample test, a fundamental problem in statistics and machine learning: given two sets of samples, to determine whether they are from the same distribution. In particular, we aim to circumvent the curse of dimensionality in Wasserstein distance: when the dimension is high, it has diminishing testing power, which is inherently due to the slow concentration property of Wasserstein metrics in the high dimension space. A key contribution is to couple optimal projection to find the low dimensional linear mapping to maximize the Wasserstein distance between projected probability distributions. We characterize the theoretical property of the finite-sample convergence rate on IPMs and present practical algorithms for computing this metric. Numerical examples validate our theoretical results.

研究の動機と目的

• 次元が増加するにつれて性能が低下する Wasserstein に基づく2標本検定における次元の呪いに対処すること。
• 高次元設定でも統計的検出力を維持するために、データを低次元部分空間に射影する手法を開発すること。
• 射影された分布間の Wasserstein 距離を最大化するように射影方向を最適化すること。
• 積分確率度量（IPMs）の枠組み内で、提案された度量の有限標本収束速度を確立すること。
• 実世界の応用における射影 Wasserstein 距離の計算に適した実用的アルゴリズムを提供すること。

提案手法

• 高次元データに最適な線形射影を適用した後、Wasserstein 距離を計算することで、射影 Wasserstein 距離を導入する。
• 射影の最適化を、射影された経験測度間の Wasserstein 距離を最大化するように、Grassmann多様体上の最大化問題として定式化する。
• 有限標本収束速度を導出するために、積分確率度量（IPMs）の理論を活用する。
• 実用的な計算において、最適な射影方向をストークスティック勾配に基づくアプローチで効率的に計算する。
• やや弱い正則性条件の下で、射影された Wasserstein 距離の濃度特性を分析することで、理論的一貫性を保証する。
• 有意水準制御された第1種の誤りと高次元における改善された検出力を実現する2標本仮説検定に射影距離を統合する。

実験結果

リサーチクエスチョン

• RQ1 最適な線形射影は、高次元2標本検定における Wasserstein 距離の有限標本収束速度を向上させることができるか？
• RQ2 射影された Wasserstein 距離を最大化することは、高次元において標準的な Wasserstein 距離と比較して、より優れた検出力をもたらすか？
• RQ3 さまざまな分布仮定下で、本手法の第1種の誤り制御と検出力はどのように評価されるか？
• RQ4 射影 Wasserstein 距離が IPM 群のメンバーとしての理論的有限標本収束速度は何か？
• RQ5 実用的に効率的に計算可能か？また、次元と標本サイズの増加に伴い、スケーリングはどのように変化するか？

主な発見

• 射影 Wasserstein 距離は、高次元設定において、標準的な Wasserstein 距離よりも速い有限標本収束速度を達成する。
• 最適な射影は、2標本検定における次元の呪いを緩和することで、顕著に検出力を向上させる。
• 帰無仮説下でも、第1種の誤り制御が適切に維持され、統計的信頼性が保証される。
• 理論的分析により、射影度量が IPM 群に属し、有益な濃度特性を継承することが確認された。
• 数値実験では、さまざまな高次元分布において、ベースラインの Wasserstein 距離と比較して一貫した性能向上が示された。
• 提案されたアルゴリズムは、確率的最適化を用いて最適な射影方向を効率的に計算でき、高次元データへのスケーラビリティを実現している。