[論文レビュー] Generic E-Variables for Exact Sequential k-Sample Tests that allow for Optional Stopping

Rosanne Turner, Alexander Ly+1 more|arXiv (Cornell University)|Jun 4, 2021

Statistical Methods in Clinical Trials被引用数 4

ひとこと要約

本稿では、任意の停止および継続が許可される状況でも第1種誤りを制御する、正確で非漸近的なk標本逐次検定のための汎用的E変数を導入する。ブロックごとのE変数を構築し、それらを検定 martingale に積算することで、柔軟なサンプリング設計下でも有効な推論を保証する。相対的GRO事前分布を用いることで、代替仮説下での最適な成長性を達成し、p値手法に比べて早期停止の場面で優れた性能を示す一方で、誤り率の保証を維持する。

ABSTRACT

We develop E-variables for testing whether two or more data streams come from the same source or not, and more generally, whether the difference between the sources is larger than some minimal effect size. These E-variables lead to exact, nonasymptotic tests that remain safe, i.e. keep their type-I error guarantees, under flexible sampling scenarios such as optional stopping and continuation. In special cases our E-variables also have an optimal 'growth' property under the alternative. While the construction is generic, we illustrate it through the special case of k x 2 contingency tables, where we also allow for the incorporation of different restrictions on a composite alternative. Comparison to p-value analysis in simulations and a real-world example show that E-variables, through their flexibility, often allow for early stopping of data collection, thereby retaining similar power as classical methods, while also retaining the option of extending or combining data afterwards.

研究の動機と目的

• 任意のサンプリング設計、特に任意の停止および継続が許可される状況でも有効な、k標本比較の正確で非漸近的な仮説検定を構築すること。
• 観察結果に基づいてデータ収集を適応的に変更しても、停止ルールに依存せず第1種誤りを制御すること。
• 指数型分布族および発散測度に対して汎用的に適用可能なE変数の構築法を提供すること。
• 特にk×2分割表設定において、成長率最適（GRO）事前分布を用いて代替仮説下での検出力を最適化すること。
• シミュレーションおよび実世界の例を通じて、E変数が古典的なp値手法と同等の検出力を維持しながらも、早期停止を可能にすることを示すこと。

提案手法

• 2つ以上の群の1ブロック分のデータに対して、帰無仮説下でE[s] ≤ 1を満たすE変数を構築する。
• ブロックE変数を逐次データに拡張するため、それらを検定 martingale に積算する。これにより、任意の停止条件下でも有効なE変数を維持する。
• 代替仮説空間における事前分布を用いてE変数を定義する。この選択は検出力に影響を与えるが、第1種誤りの制御には影響しない。
• 代替仮説下での期待成長を最大化する目的で、相対的GRO（相対的成長率最適性）基準を用いて事前分布を選択する。
• k×2分割表の設定では、共役事前分布とブロックごとのサンプリングを用いてE変数を導出する。これにより、効果量δに制限を設けることが可能になる。
• E値を検定統計量として用いる：積が1/αを超える場合に帰無仮説を棄却することで、有意水準αの誤り率制御を達成する。

実験結果

リサーチクエスチョン

• RQ1 任意の停止が許可される状況でも第1種誤りを制御する、k標本逐次検定のための汎用的E変数を構築可能か？
• RQ2 代替仮説における事前分布の選択が、逐次検定におけるE変数の成長率および検出力に与える影響は何か？
• RQ3 任意の停止が許可される状況において、E変数はp値手法に比べてどのように早期停止と検出力の両面で優れているか？
• RQ4 特にk×2分割表設定において、代替仮説下で最適な成長を示すE変数を構築可能か？
• RQ5 Gunel-Dickeyベイズ因子に基づくE変数は、帰無仮説下で有効なE変数とみなせるか？そうでない場合、その理由は何か？

主な発見

• ブロックごとの積算により構築されたE変数は、過去の結果に基づいてデータ収集を適応的に変更しても、任意の停止条件下で第1種誤りを制御する。
• シミュレーションにより、E変数はフィッシャーの正確確率検定と同等の検出力を維持しながらも、より早期の停止を可能にすることが示された。一方、p値手法では任意の停止下で第1種誤り率が上昇する傾向を示した。
• 一様事前分布（β = 1/2）を用いた独立多項分布サンプリングスキームに基づくE変数は、帰無仮説下でE[s] ≤ 1を満たし、E変数の条件を満たしている。
• ポアソン分布サンプリングスキームにおけるGunel-Dickeyベイズ因子はE変数として不適切である。これは、λ ≥ 1のとき帰無仮説下での期待値が1を超えるためである。
• 独立多項分布のケースでは、数値的シミュレーションにより、さまざまなθおよびn_gに対してベイズ因子の期待値が帰無仮説下で1を超えることが確認され、E変数として不適切であることが判明した。
• E変数の第1種誤り率は任意の停止下でもα = 0.05に抑えられていたが、フィッシャーのp値手法では誤り率が時間経過とともに急激に上昇した。