[論文レビュー] A Wild Bootstrap for Degenerate Kernel Tests

Kacper Chwialkowski, Dino Sejdinović+1 more|arXiv (Cornell University)|Aug 23, 2014

Bayesian Methods and Mixture Models参考文献 32被引用数 25

ひとこと要約

本稿では、時系列の時間的依存性がある状況で、標準的な順列ベースのブートストラップが失敗する場合に、核ベースの非パラメトリック仮説検定に適したワイルドブートストラップ法を提案する。この手法は、V統計量の核関数にi.i.d.のラデマッハまたはガウスノイズを乗算して再サンプリングすることで、退化した検定統計量の帰無分布を一貫して推定し、弱い依存性（τ-混合）下での2標本検定および独立性検定において有効な推論を可能にする。主な貢献は、時間的依存性下でも一貫した仮説検定が保証されることであり、合成データおよび実世界のデータにおいて、順列法やシフトベース法を凌駆する性能を示す。

ABSTRACT

A wild bootstrap method for nonparametric hypothesis tests based on kernel distribution embeddings is proposed. This bootstrap method is used to construct provably consistent tests that apply to random processes, for which the naive permutation-based bootstrap fails. It applies to a large group of kernel tests based on V-statistics, which are degenerate under the null hypothesis, and non-degenerate elsewhere. To illustrate this approach, we construct a two-sample test, an instantaneous independence test and a multiple lag independence test for time series. In experiments, the wild bootstrap gives strong performance on synthetic examples, on audio data, and in performance benchmarking for the Gibbs sampler.

研究の動機と目的

• 時間的依存性のある時系列では、順列ベースのブートストラップ法が型Iエラー率を著しく上昇させるため、その失敗を是正すること。
• V統計量に基づくすべての核検定に適用可能な汎用的なブートストラップ法の開発、特に独立性検定に限らないこと。
• 弱い依存性（τ-混合）下で、標本サイズが増加するに従い、型Iエラー率αに収束し、型IIエラーが消滅するという、検定の一貫性を保証すること。
• シフトベースの帰無分布推定法などの既存手法を、2標本検定や複数ラグ独立性検定を含むより広範な検定文脈へと拡張すること。

提案手法

• 本手法は、V統計量にワイルドブートストラップを適用する。V統計量は、すべてのm個の時系列点の組み合わせにおける核関数の正規化された和として定義される：$ V = \frac{1}{n^{m-1}} \sum_{i_1,\dots,i_m=1}^n h(Z_{i_1}, \dots, Z_{i_m}) $。
• 帰無仮説の下では、検定統計量は退化する（依存成分を伴う漸近的非中心カイ二乗分布となる）ため、標準的な順列法は無効となる。
• ワイルドブートストラップは、核関数の引数にi.i.d.の確率変数（例：ラデマッハまたはガウス分布）を乗算することで、依存性を破りつつも構造を維持する。
• 検定の臨界値は、ワイルドブートストラップ統計量の経験的分布の$1 - \alpha$分位数として設定され、正しいサイズが保証される。
• 本手法は、τ-混合条件の下で理論的に正当化されており、時系列の弱い時間的依存性を許容する。
• 本手法は、MMD（2標本検定）およびHSIC（独立性検定）に適用され、時系列の複数ラグバージョンも含む。

実験結果

リサーチクエスチョン

• RQ1 弱い依存性を示す時系列において、退化したV統計量の検定統計量の帰無分布を一貫して推定できるブートストラップ法を設計できるか？
• RQ2 時間的依存性のある時系列において、ワイルドブートストラップ法は順列ベースのブートストラップ法を凌駕するか？
• RQ3 ワイルドブートストラップ法は、独立性検定に限らず、2標本検定などの他の核ベース検定へ一般化可能か？
• RQ4 ラグ構造が未知である場合でも、ワイルドブートストラップ法は複数ラグの依存性検出において、どの程度の性能を示すか？
• RQ5 モデルの誤指定に対して、ワイルドブートストラップ法はロバストであり、高次元または複雑な時系列（例：音声信号）においても有効か？

主な発見

• 2標本音声信号検定において、ワイルドブートストラップ法は名目水準α = 0.05で型Iエラーを制御し、標本サイズが増加するに従い型IIエラーが減少する一方、順列検定では帰無仮説下でも常に帰無仮説を棄却するという問題が生じる。
• 即時の独立性検定において、ワイルドブートストラップに基づくHSIC検定は[8]のシフト-HSIC法と同等の性能を示し、両者とも安定した型Iおよび型IIエラー率を達成する。
• 複数ラグ依存性検出において、ワイルドブートストラップに基づくラグ-HSIC検定は、標本サイズが増加するに従い型IIエラーをゼロにまで低下させるが、KCSDは同じ条件下でも高い型IIエラー（90%）を示し続ける。
• 共通の分散ダイナミクスを示す経済時系列のGARCH型プロセスにおいて、ラグ-HSICはほぼゼロの型IIエラーを達成したのに対し、KCSDは依然として90%の型IIエラーを示し、ラグ依存性への感受性が優れていることが示された。
• 本手法の性能は、合成時系列、音声信号、MCMC診断など多様なデータタイプに対してロバストであり、ワイルドブートストラップによる人工的退化は僅かな型Iエラーの上昇を引き起こすが、標本サイズが増加するに従いその影響は薄れる。
• 一般化されたパレート分布は、ワイルドブートストラップ分布の裾を良好に近似でき、大規模な標本における分位数推定を効率的に行うのに有効であった。