[論文レビュー] B-test: A Non-parametric, Low Variance Kernel Two-sample Test

Wojciech Zaremba, Arthur Gretton+1 more|arXiv (Cornell University)|Jan 1, 2013

Statistical Methods and Inference参考文献 22被引用数 45

ひとこと要約

この論文は、最大平均差分（MMD）に基づく非パラメトリックで低分散のカーネル二標本検定であるB-テストを提案する。B-テストは、計算効率と分散低減のバランスを取るハイパーパrameterを用いることで、従来の手法よりも効果的に標本を活用し、より少ないカーネル評価回数で、かつ複雑な帰無分布の近似を避けることで、低い標本必要数で高い統計的パワーを達成する。型I誤り確率の保守的制御を維持しながら、一貫性を保つ。

ABSTRACT

We propose a family of maximum mean discrepancy (MMD) kernel two-sample tests that have low sample complexity and are consistent. The test has a hyper-parameter that allows one to control the tradeoff between sample complexity and computational time. Our family of tests, which we denote as B-tests, is both computationally and statistically efficient, combining favorable properties of pre-viously proposed MMD two-sample tests. It does so by better leveraging sam-ples to produce low variance estimates in the finite sample case, while avoiding a quadratic number of kernel evaluations and complex null-hypothesis approxima-tion as would be required by tests relying on one sample U-statistics. The B-test uses a smaller than quadratic number of kernel evaluations and avoids completely the computational burden of complex null-hypothesis approximation, while main-taining consistency and probabilistically conservative thresholds on Type I error. Finally, recent results of combining multiple kernels transfer seamlessly to our hypothesis test, allowing a further increase in discriminative power and decrease in sample complexity. 1

研究の動機と目的

• カーネルベースの分布比較に適した計算効率的で統計的に強力な二標本検定を開発すること。
• 有限標本における一貫性と型I誤り確率の制御を維持しながら、標本必要数を低減すること。
• 従来のU統計量に基づくMMD検定と比較して、カーネル評価回数を最小限に抑えること。
• 従来の手法で用いられる複雑な帰無仮説分布の近似による計算負荷を回避すること。
• 複数のカーネルの組み合わせをスムーズに統合し、識別力の向上を図ること。

提案手法

• B-テストは、標本必要数と計算時間のトレードオフをハイパーパrameterで制御するMMDに基づく二標本検定の族である。
• 有限標本をより効果的に活用することで分散を低減する新しい推定器を採用し、2次関数的なカーネル評価回数の必要性を回避する。
• 1標本のU統計量の代わりに、帰無分布近似の計算オーバーヘッドを回避するより効率的な推定戦略を採用する。
• 設計上、一貫性と型I誤り確率の確率的保守的閾値を維持する。
• 複数のカーネルの組み合わせを自然にサポートし、計算複雑度を著しく増加させることなく識別力を向上させる。
• 非パラメトリックであり、再生核ヒルベルト空間におけるカーネル埋め込みにのみ依存するため、分布の仮定に強く頑健である。

実験結果

リサーチクエスチョン

• RQ1 有限標本において、統計的一致性と低分散を維持しながら、低標本必要数の二標本検定を設計できるか？
• RQ2 MMDに基づく検定における計算効率を、統計的パワーまたは型I誤り確率の制御を損なわずどのように向上できるか？
• RQ3 より知的な標本の活用により、有限標本におけるMMD推定の分散をどの程度低減できるか？
• RQ4 信頼性を保ちながら、2次スケーリングを下回るカーネル評価回数に抑えることは可能か？
• RQ5 複数のカーネル学習は、低分散MMD検定フレームワークにどの程度効果的に統合できるか？

主な発見

• B-テストは、有限標本において標本を効果的に活用することで、低分散推定を実現し、低標本必要数を達成する。
• 従来のU統計量に基づくMMD検定と比較して、2次関数的を超えるカーネル評価回数を必要としないため、計算コストを顕著に低減する。
• 複雑な帰無分布近似を回避するため、従来のアプローチにおける主要な計算ボトル neck を解消する。
• 一貫性と確率的保守的型I誤り確率閾値を維持するため、信頼性が保証される。
• 複数のカーネルの統合により識別力が向上し、さらに必要な標本サイズが削減される。
• 計算的・統計的に効率的なフレームワークであり、従来のMMD検定の利点を組み合わせつつ、その主な限界を克服する。