[論文レビュー] Efficient Aggregated Kernel Tests using Incomplete $U$-statistics

Antonin Schrab, Ilmun Kim+2 more|arXiv (Cornell University)|Jun 18, 2022

Statistical Methods and Inference被引用数 7

ひとこと要約

本稿では、計算コストをO(N²)からO(N)に削減する不完全U統計量を用いて、線形および2次時間計算量のバランスを取る、計算的にスケーラブルなカーネルベース非パラメトリック検定法—MMDAggInc、HSICAggInc、KSDAggInc—を提案する。この手法は、複数のカーネル帯域幅を野生ブートストラップ分位数境界を用いて集約することで、2標本問題、独立性検定、適合度検定の全範囲で最小最大最適な一様分離率を達成しつつ、高い検出力を持つ。

ABSTRACT

We propose a series of computationally efficient nonparametric tests for the two-sample, independence, and goodness-of-fit problems, using the Maximum Mean Discrepancy (MMD), Hilbert Schmidt Independence Criterion (HSIC), and Kernel Stein Discrepancy (KSD), respectively. Our test statistics are incomplete $U$-statistics, with a computational cost that interpolates between linear time in the number of samples, and quadratic time, as associated with classical $U$-statistic tests. The three proposed tests aggregate over several kernel bandwidths to detect departures from the null on various scales: we call the resulting tests MMDAggInc, HSICAggInc and KSDAggInc. This procedure provides a solution to the fundamental kernel selection problem as we can aggregate a large number of kernels with several bandwidths without incurring a significant loss of test power. For the test thresholds, we derive a quantile bound for wild bootstrapped incomplete $U$-statistics, which is of independent interest. We derive non-asymptotic uniform separation rates for MMDAggInc and HSICAggInc, and quantify exactly the trade-off between computational efficiency and the attainable rates: this result is novel for tests based on incomplete $U$-statistics, to our knowledge. We further show that in the quadratic-time case, the wild bootstrap incurs no penalty to test power over the more widespread permutation-based approach, since both attain the same minimax optimal rates (which in turn match the rates that use oracle quantiles). We support our claims with numerical experiments on the trade-off between computational efficiency and test power. In all three testing frameworks, the linear-time versions of our proposed tests perform at least as well as the current linear-time state-of-the-art tests.

研究の動機と目的

• 大規模データ環境下における2次時間計算量のカーネル検定の計算ボトルネックを解消すること。
• テストパワーを損なわせることなく、複数の帯域幅にわたる集約によってカーネル帯域幅選択問題を解決すること。
• 古典的U統計量検定の計算効率の良い代替手段を提供し、線形および2次時間計算量の間を補間すること。
• 不完全U統計量に基づく検定の有意水準および検出力について、非漸近的理論的保証を提示すること。
• 野生ブートストラップによる不完全U統計量の分位数が、オракル性能に一致する最小最大最適な分離率を達成することを確立すること。

提案手法

• 核統計量の部分抽出により、O(N²)からO(N)に計算コストを削減するMMD、HSIC、KSD用の不完全U統計量推定子を提案する。
• 複数のカーネル帯域幅にわたるテスト統計量を集約することで、さまざまなスケールの代替分布への感受性を向上させる。
• 臨界閾値を推定するために野生ブートストラップ手順を用い、分位数近似誤差に関する理論的境界を導出する。
• Sobolev球上でのMMDAggIncおよびHSICAggIncの非漸近的一様分離率を導出し、有効性コストを除いて最小最大最適性を示す。
• 2次時間計算量の枠組みにおいて、パーミュテーションベースの手法と比較して、野生ブートストラップによる損失なしに同等の検出力を達成することを示す。
• 野生ブートストラップされた不完全U統計量の分位数境界を提供するが、これは独立に理論的関心を引く。

実験結果

リサーチクエスチョン

• RQ1 不完全U統計量を用いて、計算コストを削減しつつ高い統計的検出力を維持するカーネルベース検定を設計可能か？
• RQ2 不完全U統計量を用いて複数のカーネル帯域幅にわたる集約を行うと、最小最大最適な一様分離率が達成されるか？
• RQ3 2次時間計算量の枠組みにおいて、不完全U統計量の野生ブートストラップ分位数推定は、パーミュテーションベース手法と比較して検出力で劣るか？
• RQ4 不完全U統計量を用いた集約カーネル検定において、計算効率と統計的性能のトレードオフはいかなるものか？
• RQ5 提案手法は、線形～2次時間計算量の範囲で、Sobolev球上での最適分離率を達成可能か？

主な発見

• 提案手法のMMDAggInc、HSICAggInc、KSDAggIncは、3つの検定フレームワークの全範囲で、現在の線形時間の最先端手法と同等以上の検出力を達成する。
• 不完全U統計量の野生ブートストラップ分位数推定は、パーミュテーションベースの閾値と同等に有効かつ強力であり、オラクル分位数の最小最大最適なレートを再現する。
• 集約された2次時間計算量の検定の均一分離率は（定数を除いて）(N / ln(ln(N)))^(-2s/(4s+d)) であり、Sobolev球上での最小最大最適性を満たす。
• 分位数境界におけるα依存性が改善され、α^(-1/2)ではなくln(1/α)^{3/2}が得られ、複数の帯域幅にわたる集約において重要である。
• 提案手法の計算コストは線形および2次時間計算量の間を補間し、大きなデータセットにおいても顕著なパワー損失なしにスケーラブルな検定を可能にする。
• 理論的解析により、計算効率と統計的性能のトレードオフが最適であることが確認され、分離率は完全なU統計量検定の結果と対数要因を除いて一致する。