[論文レビュー] Interactive Martingale Tests for the Global Null

Boyan Duan, Aaditya Ramdas+2 more|arXiv (Cornell University)|Sep 16, 2019

Advanced Bandit Algorithms Research参考文献 27被引用数 5

ひとこと要約

本稿では、マスクされたp値とユーザーによるフィードバックを用いて、データに適応する逐次的なp値の順序付けを可能にする、グローバルなノルム仮説検定のためのインタラクティブなマルティングールテストを導入する。この手法は、共変量を活用し、バッチおよびオンラインの両設定で繰り返しの相互作用を組み込むことで、構造的代替仮説下でも古典的手法よりも高い検出力を持つ一方で、第1種の過誤を制御する。

ABSTRACT

Global null testing is a classical problem going back about a century to Fisher's and Stouffer's combination tests. In this work, we present simple martingale analogs of these classical tests, which are applicable in two distinct settings: (a) the online setting in which there is a possibly infinite sequence of $p$-values, and (b) the batch setting, where one uses prior knowledge to preorder the hypotheses. Through theory and simulations, we demonstrate that our martingale variants have higher power than their classical counterparts even when the preordering is only weakly informative. Finally, using a recent idea of "masking" $p$-values, we develop a novel interactive test for the global null that can take advantage of covariates and repeated user guidance to create a data-adaptive ordering that achieves higher detection power against structured alternatives.

研究の動機と目的

• 古典的手法（フィッシャーの検定やストウファーの検定など）を、逐次的かつマルティングールベースの形に一般化するグローバルなノルム仮説検定のフレームワークを構築すること。
• マスクされたp値を用いて、アナリストが共変量や事前の知識を動的に統合できるように、データに適応し、インタラクティブな仮説の順序付けを可能にすること。
• 構造的代替仮説下でも、強い頻度的第1種の過誤制御を維持しながら、統計的検出力を向上させること。
• p値を超えて、対称的なノルム分布を示す統計量に対しても一般化すること。符号関数と大きさ関数を用いる。
• マスク化が、人間が関与する（human-in-the-loop）適応的仮説順序付けを可能にするとともに、第1種の過誤を増加させないメカニズムとしての有効性を示すこと。

提案手法

• 仮説を逐次的に統合するマルティングールベースの検定統計量を提案。これにより、任意の停止時刻においても有効な第1種の過誤制御が保証される。
• 初期段階で各p値から部分的な情報（例：1ビット）のみを公開するマスクプロトコルを導入。これにより、ノルム分布の性質が保持される。
• 3段階のフレームワークを採用：事前順序付け（固定順序）、データに適応する順序付け（p値をマスクして順序を生成）、インタラクティブな順序付け（フィードバックによる動的再順序付け）。
• p値から符号情報を抽出するための関数 $ h(p_i) = 2\cdot\mathbf{1}\{p_i < 0.5\} - 1 $ を用い、マルティングール構築を可能にする。
• 保守的またはミラー保守的p値を仮定した下で、理論的保証を伴うバッチおよびオンライン設定の両方へ適用。
• p値を超えて、任意の統計量 $ T_i $ に対しても適用可能。ただし、$ \mathbb{E}[h(T_i) \mid g(T_i)] \leq 0 $ を満たす関数 $ h(T_i) \in \{-1,1\} $ および $ g(T_i) $ が存在する必要がある。

実験結果

リサーチクエスチョン

• RQ1 構造的設定下で、古典的手法より高い検出力を示しながらも、第1種の過誤制御を維持できるマルティングールベースのグローバル検定を構築できるか？
• RQ2 p値のマスク化が、第1種の過誤保証を損なわずに、インタラクティブでデータに適応する仮説順序付けを可能にする仕組みであるか？
• RQ3 異なる欠落ビット関数が、さまざまな事前の知識や構造的仮定下でのインタラクティブマルティングール検定の検出力に与える影響は何か？
• RQ4 共変量とフィードバックを用いたインタラクティブ順序付けは、事前順序付けやデータに適応する方法を上回る条件は何か？
• RQ5 特定の種類の事前の知識下で、検出力を最大化するp値の最適な分解（欠落ビットを介して）は存在するか？

主な発見

• 元の欠落ビット $ h(p_i) = 2\cdot\mathbf{1}\{p_i < 0.5\} - 1 $ を用いたインタラクティブマルティングール検定は、非ノンブルがクラスタリングするシナリオのシミュレーションで最高の検出力を示した。
• 弱い情報を持つ事前順序付けでさえも、マルティングール変種は古典的手法（フィッシャーおよびストウファーの検定）を上回る検出力を示した。
• 保守的またはミラー保守的p値の下で、フレームワークは有効な第1種の過誤制御を維持した。これは、パーミュテーションp値や片側p値を含む。
• この手法は保守的ノルム仮説に対してもロバストであり、t分布やコーシー分布などの対称的統計量を含む広範なクラスの統計量に適用可能である。
• マスク化の使用により、人間によるガイドやアルゴリズムによる再順序付けが、逐次的検定中に動的に可能となり、共変量や作業モデルの統合が可能になった。
• 理論的保証は、統計量の正確なノルム分布を知らなくても成立し、対称性の下で符号関数と大きさ関数に依存する。