[论文解读] A shortcut for Hommel's procedure in linearithmic time

Rosa J. Meijer, Thijmen J. P. Krebs+2 more|arXiv (Cornell University)|Oct 23, 2017

Statistical Methods in Clinical Trials参考文献 28被引用 4

一句话总结

本文提出了一种新颖的、精确的霍姆氏多重检验程序的快捷方法，实现了线性ithmic时间复杂度，结合了霍姆氏方法的检验力与霍赫贝格方法的效率。该方法通过高效计算临界函数 h(α) 并利用双指针算法确定拒绝阈值，在 O(m log m) 时间内计算校正后的 p 值，从而在不损失检验力的前提下，实现了大规模多重检验问题中可扩展的 FWER 控制。

ABSTRACT

Hommel's and Hochberg's procedures for familywise error control are both derived as shortcuts in a closed testing procedure with the Simes local test. Hommel's shortcut is exact but takes quadratic time in the number of hypotheses. Hochberg's shortcut takes only linearithmic time, but is conservative. In this paper we present an exact shortcut in linearithmic time, combining the strengths of both procedures. The novel shortcut also applies to a robust variant of Hommel's procedure that does not require the assumption of the Simes inequality.

研究动机与目标

• 开发一种计算高效的、霍姆氏多重检验程序的精确快捷方法，避免原始方法的二次时间复杂度。
• 将霍姆氏方法的统计检验力与霍赫贝格方法的计算效率相结合，实现线性ithmic时间复杂度。
• 将新快捷方法推广至霍姆氏稳健变体，该变体不依赖 Simes 不等式，从而扩大其适用范围。
• 实现在基因组学和神经影像学等大规模多重检验场景中，基于 Simes 的闭合检验的可扩展应用。
• 提供一种实用的、开源的 R 实现，其运行时间优于现有方法，同时保持精确的误差控制。

提出的方法

• 该方法引入一种新颖算法，用于在 O(m log m) 时间内计算临界函数 h(α)，该函数确定使某一假设被拒绝的最小 α 值。
• 利用双指针技术，基于排序后的 p 值和调和平均权重，高效计算每个假设 i 的阈值索引 t_i。
• 每个假设 i 的校正 p 值计算为 min(s_{t_i} p_i, α_{t_i})，其中 s_j 和 α_j 是基于 Simes 不等式和调和级数预先计算的序列。
• 该算法利用 p 值的单调性以及 Simes 局部检验的结构，避免穷举闭合检验，将复杂度从 O(2^m) 降低至 O(m log m)。
• 通过用不依赖联合 p 值依赖性的基于调和平均的拒绝准则替代 Simes 不等式，将该方法推广至霍姆氏稳健程序。
• 实现采用两遍扫描策略：首先通过线性ithmic扫描计算 h(α)，然后利用 t_i 索引在线性时间内计算所有校正后的 p 值。

实验结果

研究问题

• RQ1 能否开发一种霍姆氏程序的精确快捷方法，使其运行时间达到线性ithmic复杂度，兼具霍赫贝格方法的效率与霍姆氏方法的检验力？
• RQ2 是否可以将新快捷方法扩展至不依赖 Simes 不等式的霍姆氏稳健变体？
• RQ3 在大规模多重检验问题中，新方法的计算性能与霍姆氏方法和霍赫贝格方法相比如何？
• RQ4 该新算法能否在 R 中高效实现，以支持基因组学和神经影像学等实际应用？

主要发现

• 所提出的快捷方法在 O(m log m) 时间内计算校正后的 p 值，显著优于霍姆氏方法的 O(m²) 复杂度。
• 该方法是精确的，即其拒绝数量与完整闭合检验程序完全一致，而霍赫贝格的保守快捷方法并非如此。
• 新算法在运行时间上优于霍姆氏原始方法，即使在 m > 5×10⁷ 个假设的情况下，计算时间仍保持可行。
• 在 R 包 hommel 中的实现，其性能与 p.adjust 对霍赫贝格方法的实现相比，达到相当或更优水平，且无检验力损失。
• 该方法使得霍姆氏方法在大规模场景（如全基因组关联研究和神经影像学）中的实际应用成为可能，这些场景中 FWER 控制至关重要。
• 双指针算法在确定 h(α) 后，能以线性时间高效计算所有校正后的 p 值，使整个过程具有高度可扩展性。