[論文レビュー] Sequential Nonparametric Testing with the Law of the Iterated Logarithm

Akshay Balsubramani, Aaditya Ramdas|arXiv (Cornell University)|Jun 10, 2015

Statistical Methods in Clinical Trials参考文献 22被引用数 11

ひとこと要約

この論文は、i.i.d. データに対して線形時間・定数空間計算を達成し、有限標本における第一種および第二種の誤りを制御する、新しい逐次非パラメトリック検定フレームワークを導入する。ゼロ平均のマルティングル検定統計量を構築し、拒否閾値に一様な非漸近的繰り返し対数法則（LIL）を用いることで、最小限の標本数で適応的に停止する。これはバッチ検定のパワーに一致するが、事前の知識なしに問題の難易度を自動的に検出する。

ABSTRACT

We propose a new algorithmic framework for sequential hypothesis testing with i.i.d. data, which includes A/B testing, nonparametric two-sample testing, and independence testing as special cases. It is novel in several ways: (a) it takes linear time and constant space to compute on the fly, (b) it has the same power guarantee as a non-sequential version of the test with the same computational constraints up to a small factor, and (c) it accesses only as many samples as are required - its stopping time adapts to the unknown difficulty of the problem. All our test statistics are constructed to be zero-mean martingales under the null hypothesis, and the rejection threshold is governed by a uniform non-asymptotic law of the iterated logarithm (LIL). For the case of nonparametric two-sample mean testing, we also provide a finite sample power analysis, and the first non-asymptotic stopping time calculations for this class of problems. We verify our predictions for type I and II errors and stopping times using simulations.

研究の動機と目的

• 複合帰無仮説下での多次元的・非パラメトリックな問題に対して、最小限の計算および記憶容量のオーバーヘッドで逐次仮説検定フレームワークを開発すること。
• 中心極限定理（CLT）のような漸近的近似に依存せずに、有限標本における第一種誤りを制御すること。
• 問題の未知の難易度に合わせて停止時刻を適応的に制御することで、ほぼ最適な第二種誤り制御を達成すること。
• 理論的保証のもとで早期停止を可能とし、線形時間バッチ検定と同等のパワーを発揮しながら、必要なだけの標本数のみを用いること。
• A/Bテスト、二標本検定、および独立性検定のi.i.d. データ設定に一般かつ拡張可能な方法を提供すること。

提案手法

• 帰無仮説の下でゼロ平均のマルティングルとして検定統計量を構築し、有効な逐次的推論を保証する。
• 時間にわたる第一種誤りを一様に制御するため、繰り返し対数法則（LIL）の非漸近的で一様なバージョンを用いて拒否閾値を設定する。
• 停止時刻は、検定統計量がLILの包絡線を初めて超えた瞬間で決定され、実際の信号強度に適応する。
• 第二階の非一様マルティングル濃度バインディング（例：フリードマンの不等式）を活用して、タイトで有限標本の乖離バインディングを導出する。
• 経験的分散の指数的増加エポックにわたるピーリング論法を用い、濃度における最適な繰り返し対数法則レートを達成する。
• オンザフライでのスカラ検定統計量の計算にのみ依存し、定数空間と観測毎に線形時間の計算量を要する。

実験結果

リサーチクエスチョン

• RQ1 漸近的正規近似に依存せず、有限標本における第一種誤りを制御できる逐次非パラメトリック検定は可能か？
• RQ2 事前の知識なしに、問題の本質的難易度に適応的に停止時刻を制御する方法は何か？
• RQ3 有限標本における逐次検定のパワーは、バッチ検定と比べてどのように振る舞うか？
• RQ4 繰り返し対数法則を用いて、高次元的または非パラメトリックな設定における逐次検定の非漸近的・一様なバインディングを導出できるか？
• RQ5 逐次検定の停止時刻は、真の信号強度をどの程度反映しているか？また、最適なバッチサンプリングと比べてどうなるか？

主な発見

• 有限標本におけるLILバインディングを用いることで、すべての停止時刻において第一種誤りを一様に制御し、漸近的正規性への依存を回避する。
• 線形時間バッチ検定と比較して、ほぼ最適なパワーを達成し、パワー損失は小さな定数因子で抑えられる。
• 停止時刻は未知の問題の難易度に適応し、第二種誤りがゼロに近づく（パワーが1に近づく）場合にのみ発散する。
• 非パラメトリックな二標本平均検定において、本論文は初めて有限標本パワー解析と非漸近的停止時刻計算を提供する。
• 理論的限界に一致する最適な濃度レート $ Oig(ig( ext{Var}_n ig) ext{ln ln} rac{ ext{Var}_n}{ heta}ig)^{1/2} $ を達成する。
• シミュレーションにより、予測された第一種および第二種誤り率および停止時刻が、実効的な性能とよく一致することが確認された。