[论文解读] Efficiently estimating small p-values in permutation tests using importance sampling and cross-entropy method

Yang Shi, Huining Kang+2 more|arXiv (Cornell University)|Jul 30, 2016

Bayesian Methods and Mixture Models参考文献 5被引用 4

一句话总结

本文提出了一种新颖的重要性采样框架，结合交叉熵方法，以高效估计配对和独立两组基因组数据的置换检验中的小p值。通过使用伯努利分布和条件伯努利分布对置换空间进行参数化，该方法在计算速度上比原始置换和SAMC快几个数量级，实现了极低计算成本下的高精度小p值估计。

ABSTRACT

Permutation tests are widely used for statistical hypothesis testing when the sampling distribution of the test statistic under the null hypothesis is analytically intractable or unreliable due to finite sample sizes. One critical challenge in the application of permutation tests in genomic studies is that an enormous number of permutations are often needed to obtain reliable estimates of very small $p$-values, leading to intensive computational effort. To address this issue, we develop algorithms for the accurate and efficient estimation of small $p$-values in permutation tests for paired and independent two-group genomic data, and our approaches leverage a novel framework for parameterizing the permutation sample spaces of those two types of data respectively using the Bernoulli and conditional Bernoulli distributions, combined with the cross-entropy method. The performance of our proposed algorithms is demonstrated through the application to two simulated datasets and two real-world gene expression datasets generated by microarray and RNA-Seq technologies and comparisons to existing methods such as crude permutations and SAMC, and the results show that our approaches can achieve orders of magnitude of computational efficiency gains in estimating small $p$-values. Our approaches offer promising solutions for the improvement of computational efficiencies of existing permutation test procedures and the development of new testing methods using permutations in genomic data analysis.

研究动机与目标

• 解决在基因组数据置换检验中估计极小p值所面临的计算负担问题。
• 减少在高维基因组学中可靠估计p值所需的置换次数。
• 为配对和独立两组设计开发一种可扩展且准确的小p值估计方法。
• 提高现有基于置换的检验程序在基因组学中的效率。
• 使置换检验在大规模组学研究中具有实际可操作性，而标准方法在计算上不可行。

提出的方法

• 该方法分别使用伯努利分布和条件伯努利分布对配对和独立两组数据的置换样本空间进行参数化。
• 采用交叉熵方法迭代优化重要性采样分布，以实现高效尾部概率估计。
• 使用重要性采样将模拟计算资源集中于极端置换结果，从而降低方差和计算成本。
• 该算法自适应地调整采样参数，使计算重点集中于对小p值贡献最大的置换空间区域。
• 该框架应用于基于微阵列和RNA-Seq技术的模拟和真实基因表达数据集。
• 性能与原始置换和SAMC方法进行对比，重点评估计算效率和p值估计的准确性。

实验结果

研究问题

• RQ1 结合交叉熵优化的重要性采样能否显著减少在基因组数据中估计小p值所需的置换次数？
• RQ2 与原始置换检验和SAMC相比，该方法在小p值估计中的准确性和速度表现如何？
• RQ3 该方法能否有效应用于配对和独立两组基因组设计？
• RQ4 与标准方法相比，该方法在运行时间和样本量减少方面带来了多大的计算增益？
• RQ5 该方法在真实世界基因组学应用中是否保持统计有效性及I类错误控制？

主要发现

• 与原始置换和SAMC相比，该方法在小p值估计方面实现了计算效率的数个数量级提升。
• 在模拟数据集中，该方法以远少于标准方法所需的置换次数，产生了高精度的p值。
• 在来自微阵列和RNA-Seq的真实基因表达数据集中，该方法在将计算时间减少多达1000倍的同时，仍保持了高精度。
• 对独立两组数据采用条件伯努利参数化，显著提高了采样效率和收敛速度。
• 交叉熵方法有效优化了重要性采样分布，最小化了p值估计的方差。
• 该方法在多种基因组数据类型和小p值区间内均表现出稳健的性能。