[論文レビュー] B-tests: Low Variance Kernel Two-Sample Tests

Wojciech Zaremba, Arthur Gretton+1 more|arXiv (Cornell University)|Jul 8, 2013

Statistical Methods and Inference参考文献 19被引用数 6

ひとこと要約

この論文では、データの小さな非重複ブロック上で最大平均差分（MMD）を計算し、その結果を平均化することで、低分散なカーネル二標本適合度検定であるBテストを導入する。ブロックサイズBを調整することにより、計算効率と統計的パワーのバランスを図ることができ、p値の高速計算が可能な漸近的正規性を示す帰無分布を有し、線形時間MMD_lおよび2次時間MMD_uの両者を、標本効率性と速度の面で上回る。

ABSTRACT

A family of maximum mean discrepancy (MMD) kernel two-sample tests is introduced. Members of the test family are called Block-tests or B-tests, since the test statistic is an average over MMDs computed on subsets of the samples. The choice of block size allows control over the tradeoff between test power and computation time. In this respect, the $B$-test family combines favorable properties of previously proposed MMD two-sample tests: B-tests are more powerful than a linear time test where blocks are just pairs of samples, yet they are more computationally efficient than a quadratic time test where a single large block incorporating all the samples is used to compute a U-statistic. A further important advantage of the B-tests is their asymptotically Normal null distribution: this is by contrast with the U-statistic, which is degenerate under the null hypothesis, and for which estimates of the null distribution are computationally demanding. Recent results on kernel selection for hypothesis testing transfer seamlessly to the B-tests, yielding a means to optimize test power via kernel choice.

研究の動機と目的

• U統計量の帰無分布推定にかかる高コストと、線形時間推定器の高分散という、既存のMMDに基づく二標本適合度検定の計算的・統計的非効率性を解消すること。
• 線形時間MMD_lが有する漸近的正規性を維持しつつ、ブロック平均化により分散を低減するテスト族の開発。
• 漸近的正規帰無分布を活用することで、仮説検定におけるカーネル選択を効率的に行えるようにすること。
• MMD_uの帰無分布推定に必要なブートストラップや固有値分解の計算コストが標本サイズに伴い急激に増加する問題を解消し、計算効率の良い代替手法を提供すること。

提案手法

• Bテストは、サイズBの非重複ブロック上でU統計量MMDを計算し、ブロック統計量の平均を最終的な検定統計量として構築する。
• n/B → ∞ となるようにブロックサイズBを設定することで、中心極限定理に従い、帰無仮説H₀および対立仮説Hₐの下で検定統計量が漸近的に正規分布に従うことを保証する。
• 帰無分布は、ブロックレベルのMMD分散から導かれる平均0の正規分布として近似され、O(n)の計算コストで高速なp値計算が可能になる。
• Bテストのカーネル選択には、MMD_lと共有する漸近的正規性を活用し、メディアンヒューリスティクスやスペクトルに基づくカーネル選択といった、既存の手法を用いる。
• 全U統計量の退化問題を回避するため、標本をブロックに分割することで、高価な固有値分解やブートストラップの必要を回避する。
• 検定は一貫性を有し、特に中程度以上の大規模ブロックサイズでは、MMD_lに比べて分散が低いため、高い統計的パワーを達成する。

実験結果

リサーチクエスチョン

• RQ1 全U統計量MMD_uの低分散性と、線形時間MMD_lの計算効率と単純な帰無分布の両方を兼ね備えた二標本適合度検定を設計可能か？
• RQ2 小さな非重複ブロック上で計算されたMMD統計量を平均化することで、漸近的に正規帰無分布を有する検定が得られるか？これによりp値計算が高速化可能か？
• RQ3 Bテストは、計算コストと同等の水準でMMD_lを上回る統計的パワーを達成可能か？特に有限標本領域においては？
• RQ4 Bテストのカーネル選択は、既存の手法と比較してどのように異なるか？また、正規帰無分布のおかげで効率的な最適化が可能か？
• RQ5 合成データおよび実世界データにおいて、ブロックサイズBと検定性能（第一種・第二種の誤り率）のトレードオフはどのように現れるか？

主な発見

• Bテストは、全カーネル選択戦略においてMMD_lに比べて顕著に低い第二種の誤り率を示し、優れた標本効率性を確認した。
• 音楽データセットでは、複数のカーネルとB=√(n/2)を用いたBテストが、18.285秒の計算時間で第二種の誤り率0.012を達成し、MMD_lを上回るパワーを示したが、コスト増加は限定的であった。
• B=2000およびσ=1を用いたBテストは、1000回の繰り返しにおいて第一種および第二種の誤り率がゼロであった。これは、帰無分布推定が保守的であっても、強力な性能を示していることを示している。
• B=√nおよびメディアンカーネルを用いたBテストは、第一種の誤り率0.006、第二種の誤り率0.597を示し、MMD_lを上回るパワーを維持しながらも、計算コストは妥当であった。
• Bテストは、O(n³)およびO(n²)の計算コストを要するブートストラップおよび固有値分解に基づくMMD_uの帰無分布推定に比べ、最大で1桁の高速化を達成した。
• 実験結果から、すべての設定において帰無分布が保守的（第一種の誤り率 < 5%）である一方で、Bテストは強力なパワーを維持しており、ロバストネスと信頼性が確認された。