[论文解读] QuickMMCTest - Higher accuracy for multiple testing corrections
QuickMMCTest 提出了一种基于 Thompson Sampling 的算法，该算法自适应地将蒙特卡洛资源分配给多个假设检验，优先处理决策不确定的检验。与以往方法相比，该方法在计算成本极低的情况下实现了更高的统计功效和可重复性，尤其在逐步提升和逐步降低的多重检验程序下表现更优。
Multiple hypothesis testing is widely used to evaluate scientific studies involving statistical tests. However, for many of these tests, p-values are not available and are thus often approximated using Monte Carlo tests such as permutation tests or bootstrap tests. This article presents a simple algorithm based on Thompson Sampling to test multiple hypotheses. It works with arbitrary multiple testing procedures, in particular with step-up and step-down procedures. Its main feature is to sequentially allocate Monte Carlo effort, generating more Monte Carlo samples for tests whose decisions are so far less certain. A simulation study demonstrates that for a low computational effort, the new approach yields a higher power and a higher degree of reproducibility of its results than previously suggested methods.
研究动机与目标
- 解决在无法获得 p 值、必须通过蒙特卡洛方法（如置换检验或自助法）近似 p 值时的多重假设检验挑战。
- 在计算预算有限的情况下，提升多重检验校正的效率和可靠性。
- 开发一种基于决策不确定性的动态蒙特卡洛样本分配方法，以增强统计功效和可重复性。
- 在计算效率高的框架下，支持任意多重检验程序，特别是逐步提升和逐步降低的方法。
提出的方法
- 该方法使用 Thompson Sampling 逐次分配蒙特卡洛样本，优先选择当前证据下决策仍不确定的假设。
- 它为每个假设的 p 值估计值维护后验分布，并从中抽样以指导分配决策。
- 该算法可与标准的多重检验程序（如逐步提升和逐步降低程序）集成，并适应其决策规则。
- 对 p 值估计不确定性较高的假设增加蒙特卡洛计算量，从而在最关键的位置提升决策准确性。
- 该方法设计具有通用性，可与任何依赖 p 值近似的多重检验校正方法兼容。
- 通过贝叶斯采样策略，平衡探索（对不确定检验进行采样）与利用（集中于明确决策）。
实验结果
研究问题
- RQ1在计算资源受限的情况下，自适应分配蒙特卡洛样本能否提升多重假设检验的统计功效和可重复性？
- RQ2与均匀分配或固定分配策略相比，基于 Thompson Sampling 的分配策略在统计性能上表现如何？
- RQ3当 p 值通过蒙特卡洛模拟近似时，该方法在多大程度上能提升逐步提升和逐步降低多重检验程序的准确性？
- RQ4所提出的方法在提升统计功效的同时，能否保持对家庭错误率的控制？
主要发现
- 在相同计算预算下，QuickMMCTest 的统计功效高于以往方法。
- 与现有方法相比，该方法在多次运行中表现出更高的结果可重复性。
- 通过将蒙特卡洛计算资源集中于不确定性较高的检验，该算法减少了对已解决假设的无效计算。
- 该方法与标准多重检验程序（包括逐步提升和逐步降低方法）保持兼容。
- 模拟结果证实，该方法在统计功效和可重复性方面均优于均匀分配和固定分配策略。
- 该算法在蒙特卡洛采样中有效平衡了探索与利用，从而实现更高效的决策制定。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。