[論文レビュー] A simple method for implementing Monte Carlo tests

Dong Ding, Axel Gandy+1 more|arXiv (Cornell University)|Nov 5, 2016

Data-Driven Disease Surveillance参考文献 27被引用数 4

ひとこと要約

本稿では、すべての真のp値に対して一様に再サンプリングリスク（モンテカルロ近似による誤った意思決定の確率）を制御する、シンプルでオープンエンドなモンテカルロ検定手順「信頼区間法（CSM）」を提案する。CSMはp値の逐次的信頼区間を用い、区間が有意水準αを含まなくなった時点で停止する。この方法は、SIMCTESTと同等の理論的保証を達成するが、実装がより簡単でチューニングパラメータが不要である。

ABSTRACT

We consider a statistical test whose p-value can only be approximated using Monte Carlo simulations. We are interested in deciding whether the p-value for an observed data set lies above or below a given threshold such as 5%. We want to ensure that the resampling risk, the probability of the (Monte Carlo) decision being different from the true decision, is uniformly bounded. This article introduces a simple open-ended method with this property, the confidence sequence method (CSM). We compare our approach to another algorithm, SIMCTEST, which also guarantees an (asymptotic) uniform bound on the resampling risk, as well as to other Monte Carlo procedures without a uniform bound. CSM is free of tuning parameters and conservative. It has the same theoretical guarantee as SIMCTEST and, in many settings, similar stopping boundaries. As it is much simpler than other methods, CSM is a useful method for practical applications.

研究の動機と目的

• すべての真のp値に対して再サンプリングリスク（誤った意思決定の確率）がユーザーが指定したε未満に保たれる、実用的で一様に有界なモンテカルロ検定手順の開発。
• 従来の手法の限界、たとえばチューニングの複雑さや一様なリスク制御の欠如、特に逐次的検定の場面での問題を解決すること。
• 理論的に妥当であり、計算が単純であるため、計算リソースが限られた現実世界の応用に適した手法の提供。
• CSMをSIMCTESTおよび他のモンテカルロ手順と比較し、CSMが実装の複雑さを著しく軽減しつつ、同様の理論的保証を達成できることを示すこと。

提案手法

• CSMは、すべての段階で同時にカバレッジ確率が1−ε以上になるように保証する逐次的信頼区間を用いて、真のp値の信頼区間系列を構築する。
• 各ステップで、$ X_i = \mathbb{I}(T_i \geq t) $ を用いて部分和 $ S_n = \sum_{i=1}^n X_i $ を計算し、p値の推定値 $ \hat{p}_c = S_n / n $ を得る。
• p値の信頼区間が有意水準αを含まなくなった最初の時刻 $ \tau $ で意思決定を行う。これは、$ \hat{p}_c > \alpha $ または $ \hat{p}_c \leq \alpha $ に応じて方向に応じて判定される。
• 停止境界は二項分布の累積分布関数の逆関数から導出され、$ p = \alpha $ の下で境界を越える確率が $ \epsilon $ 以下に抑えられるように保証される。
• この手法はオープンエンドである。つまり、事前にシミュレーション回数を固定せず、統計的に正当な意思決定が可能になった時点で停止する。
• 再サンプリングリスクは、Robbins（1970）およびLai（1976）に基づくマルティングゲールの議論により一様に有界に保たれ、$ \sup_p \text{RR}_p(\hat{p}_c) \leq \epsilon $ が成り立つ。

実験結果

リサーチクエスチョン

• RQ1 チューニングパラメータが不要であり、すべての真のp値に対して再サンプリングリスクを一様に有界に保つ、シンプルでオープンエンドなモンテカルロ検定手順を設計できるか？
• RQ2 CSMとSIMCTESTの停止境界および理論的保証の観点から、性能をどのように比較できるか？
• RQ3 CSMが再サンプリングリスクをどの程度の速度で消費しているか。この消費速度は、一般化されたSIMCTESTのリスク消費シーケンスによって、CSMの境界よりも一様に狭くなるように調整可能か？
• RQ4 既存の代替手法よりも単純で実用的であり、かつ一様な再サンプリングリスク制御を維持できる逐次モンテカルロ手法を構築することは可能か？

主な発見

• CSMは、$ \sup_p \text{RR}_p(\hat{p}_c) \leq \epsilon $ を満たし、すべての真のp値に対してモンテカルロ推定に基づく意思決定が高確率で正しくなるという、SIMCTESTと同等の理論的保証を達成する。
• CSMにおける再サンプリングリスクの消費速度は約 $ O(n^{-1.5}) $ であり、これはSIMCTESTのデフォルトの $ O(n^{-2}) $ より遅く、初期段階でより慎重になる。
• 一般化されたリスク消費シーケンス $ \epsilon_n^S = n^{0.5}/(n^{0.5} + 3) \epsilon $ を用いることで、SIMCTESTはCSMの境界よりも一様に狭い停止境界を達成可能であり、かつ同じ一様リスク境界を維持できる。
• CSMはチューニングパラメータがなく、事前にシミュレーション回数を指定する必要がないため、計算コストの高いシミュレーションが関与する現実世界の応用に特に適している。
• 真のp値が未知である場合や、サンプリング分布が複雑な場合でも、この手法は頑健で有効である。これは、帰無仮説分布からのi.i.d.標本にのみ依存しているためである。
• 最初の $ 5 \times 10^4 $ ステップにおける経験的検証により、$ \gamma = 0.5 $、$ k = 3 $ のSIMCTEST境界がCSMの境界を一様に上回ることが確認され、リスク消費速度の理論的一致が裏付けられた。