[論文レビュー] Testing One Hypothesis Multiple times

Sara Algeri, David A. van Dyk|arXiv (Cornell University)|Jan 24, 2017

Statistical Methods in Clinical Trials参考文献 55被引用数 3

ひとこと要約

本稿では、母数が帰無仮説では特定できないが対立仮説下でのみ特定可能なモデルに対して、極値理論（EVT）とモンテカルロシミュレーションを組み合わせることで、p < 10⁻⁷ という厳格な有意水準を満たすテストワン仮説を複数回（TOHM）行う計算的に効率的な手法を提案する。この手法により、ぶつぶつ検出、構造的変化検出、非ネスト型モデル比較において、最小100回のシミュレーションで高精度な推論が可能となる。

ABSTRACT

In applied settings, tests of hypothesis where a nuisance parameter is only identifiable under the alternative often reduces into one of Testing One Hypothesis Multiple times (TOHM). Specifically, a fine discretization of the space of the non-identifiable parameter is specified, and the null hypothesis is tested against a set of sub-alternative hypothesis, one for each point of the discretization. The resulting sub-test statistics are then combined to obtain a global p-value. In this paper, we discuss a computationally efficient inferential tool to perform TOHM under stringent significance requirements, such as those typically required in the physical sciences, (e.g., p-value $&lt;10^{-7}$). The resulting procedure leads to a generalized approach to perform inference under non-standard conditions, including non-nested models comparisons.

研究の動機と目的

• 母数が帰無仮説下では特定できないという問題に統計的推論を適用する課題に対処すること。これは、高エネルギー物理学や信号検出分野で一般的な問題である。
• 個々の状況に特化した導出や共分散推定、あるいは経験的過程の完全なシミュレーションを要する従来手法の限界を克服すること。
• きわめて厳格な有意水準（例：p < 10⁻⁷）の下で、グローバルp値を近似する一般化可能で計算効率の良いフレームワークを構築すること。
• ぶつぶつ検出、構造的変化検出、非ネスト型モデル比較といった非標準的設定において、頑健な推論を可能にすること。
• 推論の頑健性を保証するための、しきい値と部分検定数の選定に役立つ実用的ツールを提供すること。

提案手法

• パラメータ空間Θ上の確率過程W(θ)の上限としてグローバル検定を定式化し、グローバルp値をP(supθ∈Θ W(θ) > c)として定義する。
• 極値理論（EVT）を用いて、過程W(θ)がしきい値cを超える上昇回数を用いてグローバルp値を上限で評価する。マーカフの不等式を応用して、P(sup W(θ) > c) ≤ P(W(L) > c) + E[Nc] を得る。
• モンテカルロシミュレーションを用いて、期待上昇回数E[Nc]と裾確率P(W(L) > c)を推定し、グローバルp値の効率的近似を実現する。
• 尤度比検定やカイ二乗分布に限定されないEVTに基づく境界を一般化し、非標準的検定統計量への適用可能性を拡張する。
• 理論的EVT境界と実際のシミュレーションを統合することで、精度と計算コストのバランスを図り、最小100回のシミュレーションで信頼性の高い推論を達成する。
• 高有意水準要件を満たす状況での推論の頑健性を高めるために、しきい値（c₀）と部分検定数（R）の選定を支援する図的ツールを開発する。

実験結果

リサーチクエスチョン

• RQ1 母数が帰無仮説下では特定できない状況において、グローバルp値をどのように効率的に近似できるか。
• RQ2 きわめて厳格な有意水準（例：p < 10⁻⁷）を満たす推論を達成するために、最小で何回のモンテカルロシミュレーションが必要か。
• RQ3 提案手法であるTOHMは、Bonferroni補正と比較して、高有意水準の状況下で検出力と第一種過誤の制御においてどのように異なるか。
• RQ4 EVTに基づく境界を尤度比検定やカイ二乗分布を超えて、複雑な非標準的検定統計量にも一般化できるか。
• RQ5 実世界の応用において、頑健性と精度を保証するための実用的しきい値と部分検定数の選定方法は何か。

主な発見

• 提案手法は、経験的過程の完全なシミュレーションに比べて計算コストを大幅に削減し、最小100回のモンテカルロシミュレーションで高精度なグローバルp値近似を達成した。
• 例1（ぶつぶつ検出）では、TOHMが4.06σの有意水準を達成し、Bonferroni補正の3.69σを上回り、きわめて高い有意水準下での検出力を示した。
• 例2（ダークマター信号検出）では、方向性データの欠如や簡略化仮定がある中で、真値35 GeVに近いθ̃ = 27.265 GeVの信号を同定した。
• 例3（ブレークポイント回帰モデル）では、TOHMとMHTがほぼ同一の結果（11.52σ vs. 11.43σ）を示し、高有意水準と中程度の検定負荷下でも一貫性を示した。
• 本手法はきわめて厳しい有意水準要件下でも第一種過誤率を適切に制御でき、高エネルギー物理学などp < 10⁻⁷を要請する分野に適している。
• しきい値と部分検定数の選定を支援する図的ツールは、複雑な実世界の推論問題において頑健性と実用性を向上させた。