[論文レビュー] Two-sample Test with Kernel Projected Wasserstein Distance

Jie Wang, Rui Gao+1 more|arXiv (Cornell University)|Feb 12, 2021

Anomaly Detection Techniques and Applications参考文献 60被引用数 5

ひとこと要約

本稿では、再現性のある再生ヒルベルト空間（RKHS）を用いた非線形射影により分布の乖離を最大化することで、高次元二標本適合度検定に向けたカーネル射影ウォッサーシュタイン（KPW）距離を提案する。この手法は、線形射影よりも次元の呪いをより効果的に回避し、計算効率の高いアルゴリズムと非漸近的不確実性評価を備えており、合成データおよびヒューマンアクティビティ検出を含む実世界データにおいて優れた性能を示している。

ABSTRACT

We develop a kernel projected Wasserstein distance for the two-sample test, an essential building block in statistics and machine learning: given two sets of samples, to determine whether they are from the same distribution. This method operates by finding the nonlinear mapping in the data space which maximizes the distance between projected distributions. In contrast to existing works about projected Wasserstein distance, the proposed method circumvents the curse of dimensionality more efficiently. We present practical algorithms for computing this distance function together with the non-asymptotic uncertainty quantification of empirical estimates. Numerical examples validate our theoretical results and demonstrate good performance of the proposed method.

研究の動機と目的

• 高次元データにおける二標本適合度検定の課題に取り組むこと。特に、従来の手法が次元の呪いに苦しむ状況を想定する。
• 複雑な非線形データ構造を捉える能力に優れる非パラメトリック検定を、線形射影に基づく手法よりも上回る性能で開発すること。
• 経験的推定値の不確実性評価に関する理論的保証を備えた、計算効率の高いアルゴリズムを提供すること。
• ヒューマンアクティビティ検出や変化点検出を含む、合成データおよび実世界データの両方で手法を検証すること。

提案手法

• 本手法は、再現性のある再生ヒルベルト空間（RKHS）に基づく非線形プロジェクタを用いて、データを分布の差が最大化される低次元空間に写像する。
• 表現定理を用いて、カーネル射影ウォッサーシュタイン距離を有限次元最適化問題として定式化する。
• ブロック座標降下法を用いて、複雑度O(ϵ⁻³)でϵ-停留点を探索する。
• 被覆数の議論を用いて、経験的KPW距離の非漸近的バウンドを導出し、不確実性を評価し、検出閾値を設定する。
• カーネルトリックにより、関数空間の明示的パラメータ化なしに効率的な計算が可能になる。
• 事前学習された非線形プロジェクタを用い、スライディングウィンドウ上の分布を比較することで、オンライン変化点検出に本手法を拡張する。

実験結果

リサーチクエスチョン

• RQ1 RKHSによる非線形射影は、線形射影と比較して高次元設定下での二標本適合度検定のパワーを向上させることができるか？
• RQ2 提案されたカーネル射影ウォッサーシュタイン距離は、既存の非パラメトリック検定と比較して、次元の呪いをより効果的に回避するか？
• RQ3 射影次元dの選択が、検定の性能および標本必要数に与える影響は何か？
• RQ4 正則化項ηの影響が、KPW検定の性能およびロバストネスに与える影響は何か？
• RQ5 非漸近的不確実性評価により、誤検出率の制御を信頼的に達成できるか？

主な発見

• KPW検定は、非線形パターンを示すデータにおいて、線形射影手法よりも高い検定パワーを達成する。
• 射影次元d > 1の範囲で強い性能を維持しており、d > 1であればdの値にほとんど依存しないことが示された。
• η = 0（正確なウォッサーシュタイン）のKPW検定は、正則化されたバージョンと同等の性能を示しており、性能向上の主な要因はエンタロピー正則化ではなく、カーネル射影に起因していることが示された。
• Sinkhorn+検定は依然として次元の呪いに苦しむが、KPWは非線形カーネル射影のおかげでそれを回避する。
• ヒューマンアクティビティ検出の応用では、KPW検定は遅延が小さく、ベースライン手法を上回る変化点の同定を達成した。
• 経験的KPW距離の非漸近的バウンドが導出され、誤検出率制御のための信頼性のある閾値設定が可能になった。