[论文解读] Interactive Martingale Tests for the Global Null

Boyan Duan, Aaditya Ramdas+2 more|arXiv (Cornell University)|Sep 16, 2019

Advanced Bandit Algorithms Research参考文献 27被引用 5

一句话总结

本文提出了一种用于全局零假设检验的交互式鞅检验方法，通过使用掩码p值和用户引导的反馈，实现了数据自适应的、顺序的p值排序。该方法在控制第一类错误的同时，通过利用协变量和重复交互，在批量和在线设置下均实现了比经典检验更高的检验效能，尤其在结构化备择假设下表现更优。

ABSTRACT

Global null testing is a classical problem going back about a century to Fisher's and Stouffer's combination tests. In this work, we present simple martingale analogs of these classical tests, which are applicable in two distinct settings: (a) the online setting in which there is a possibly infinite sequence of $p$-values, and (b) the batch setting, where one uses prior knowledge to preorder the hypotheses. Through theory and simulations, we demonstrate that our martingale variants have higher power than their classical counterparts even when the preordering is only weakly informative. Finally, using a recent idea of "masking" $p$-values, we develop a novel interactive test for the global null that can take advantage of covariates and repeated user guidance to create a data-adaptive ordering that achieves higher detection power against structured alternatives.

研究动机与目标

• 开发一种全局零假设检验的一般性框架，将费雪和斯图尔夫的检验等经典方法扩展为顺序的、基于鞅的形式。
• 通过使用掩码p值，实现数据自适应且交互式的假设排序，使分析人员能够动态整合协变量和先验知识。
• 在保持强频派第一类错误控制的同时，提升在结构化备择假设下的统计效能。
• 将该框架推广至p值之外的检验统计量，适用于具有对称零分布的统计量，利用符号和大小函数。
• 展示掩码机制作为实现人机协同、自适应假设排序的手段，且不增加第一类错误风险。

提出的方法

• 提出基于鞅的检验统计量，按顺序累积各假设的证据，确保在任意停止时间下均保持有效的第一类错误控制。
• 引入一种掩码协议，最初仅揭示每个p值的部分信息（例如单个比特），同时保持零分布的性质。
• 采用三阶段框架：预排序（固定排序）、数据自适应（通过掩码p值生成排序）和交互式（用户引导的动态重排序并结合反馈）。
• 使用函数 $ h(p_i) = 2\cdot\mathbf{1}\{p_i < 0.5\} - 1 $ 作为缺失比特，从p值中提取符号信息，以支持鞅构造。
• 将该框架应用于批量和在线设置，在保守或镜像保守p值下具有理论保证。
• 将适用性扩展至任意检验统计量 $ T_i $，前提是存在函数 $ h(T_i) \in \{-1,1\} $ 和 $ g(T_i) $，使得在零假设下 $ \mathbb{E}[h(T_i) \mid g(T_i)] \leq 0 $。

实验结果

研究问题

• RQ1 能否构建基于鞅的全局检验方法，在保持第一类错误控制的同时，在结构化设定下实现比经典方法更高的检验效能？
• RQ2 p值的掩码机制如何在不违反第一类错误保证的前提下，实现交互式、数据自适应的假设排序？
• RQ3 不同缺失比特函数对在各种先验知识和结构假设下交互式鞅检验效能的影响如何？
• RQ4 在何种条件下，结合协变量和反馈的交互式排序优于预排序或数据自适应方法？
• RQ5 是否存在一种最优的p值分解方式（通过缺失比特），可在特定类型的先验知识下最大化检验效能？

主要发现

• 在具有聚类非零效应的模拟中，使用原始缺失比特 $ h(p_i) = 2\cdot\mathbf{1}\{p_i < 0.5\} - 1 $ 的交互式鞅检验实现了最高的检验效能。
• 即使预排序信息较弱，基于鞅的变体在效能上仍优于经典费雪和斯图尔夫检验。
• 该框架在保守或镜像保守p值下保持了有效的第一类错误控制，包括置换检验和单侧p值。
• 该方法对保守零分布具有鲁棒性，并适用于广泛类别的检验统计量，包括t分布和柯西分布等对称统计量。
• 掩码机制允许在顺序检验过程中进行人工引导或算法驱动的重排序，实现协变量和工作模型的动态整合。
• 即使不知道检验统计量确切的零分布，理论保证依然成立，仅依赖于对称性下的符号和大小函数。