[论文解读] A nonparametric Bayesian test of dependence

Yimin Kao, Brian J. Reich+1 more|arXiv (Cornell University)|Jan 28, 2015

Bayesian Methods and Mixture Models参考文献 22被引用 3

一句话总结

本文提出了一种基于狄利克雷过程混合（DPM）先验的非参数贝叶斯检验方法，用于检验两组变量之间的依赖关系，该方法在原假设（独立性）和备择假设（依赖性）下均采用DPM先验。通过可逆跳跃马尔可夫链蒙特卡洛（RJ-MCMC）计算备择假设的后验概率，该方法在检测线性和复杂非线性依赖关系方面优于现有方法，尤其在基因表达数据分析中，能够识别出先前未被发现的依赖结构。

ABSTRACT

In this article, we propose a new method for the fundamental task of testing for dependence between two groups of variables. The response densities under the null hypothesis of independence and the alternative hypothesis of dependence are specified by nonparametric Bayesian models. Under the null hypothesis, the joint distribution is modeled by the product of two independent Dirichlet Process Mixture (DPM) priors; under the alternative, the full joint density is modeled by a multivariate DPM prior. The test is then based on the posterior probability of favoring the alternative hypothesis. The proposed test not only has good performance for testing linear dependence among other popular nonparametric tests, but is also preferred to other methods in testing many of the nonlinear dependencies we explored. In the analysis of gene expression data, we compare different methods for testing pairwise dependence between genes. The results show that the proposed test identifies some dependence structures that are not detected by other tests.

研究动机与目标

• 开发一种灵活的非参数贝叶斯检验方法，用于检测两组变量之间的依赖关系，能够识别线性和非线性关联。
• 解决卡方检验和霍夫丁检验等经典检验方法的局限性，这些方法对数据划分敏感，且在复杂依赖关系下统计功效不足。
• 通过在原假设和备择假设下均采用全贝叶斯建模与非参数先验，改进现有非参数检验方法（如距离相关性与最大信息系数）。
• 实现在高维数据中稳健检测依赖关系，特别是在基因组学和功能连接性研究中。
• 提供基于后验概率的检验方法，以在一致的贝叶斯框架下量化依赖关系的证据。

提出的方法

• 在原假设下，将响应密度建模为两组变量各自独立的狄利克雷过程混合（DPM）先验的乘积。
• 在备择假设下，使用多变量DPM先验对联合密度进行建模，以允许复杂且不可分解的依赖结构。
• 使用可逆跳跃马尔可夫链蒙特卡洛（RJ-MCMC）计算备择假设的后验概率，实现对不同维度配置下的模型空间探索。
• 在DPM的浓度参数上设定非信息先验，以确保客观推断。
• 基于备择模型的后验奇偶比计算检验统计量，显著性通过后验概率阈值进行评估。
• 通过每组数据在原假设下使用300个置换样本控制第一类错误率，与其它非参数检验方法保持一致。

实验结果

研究问题

• RQ1 非参数贝叶斯方法是否能在检测两组变量之间的线性和非线性依赖关系方面优于经典和现代非参数检验方法？
• RQ2 在各种依赖结构下，备择假设的后验概率与现有检验方法（如距离相关性和HHG检验）的p值相比如何？
• RQ3 所提出的方法在高维数据（如基因表达谱）中检测复杂非线性依赖模式的能力如何？
• RQ4 在原假设和备择假设下均采用非参数贝叶斯建模，是否相比参数或半参数替代方法能提升检测功效？
• RQ5 在真实基因组数据中，当依赖关系可能微弱或非线性时，该方法表现如何？

主要发现

• 在各种模拟情景下，所提检验在检测线性和非线性依赖关系方面，统计功效高于皮尔逊相关系数、斯皮尔曼等级相关系数、卡方检验、霍夫丁检验、距离相关性和HHG检验。
• 在基因表达数据分析中，该方法识别出了所有其他方法均未检测到的成对基因依赖关系，显示出对复杂非线性关系的高度敏感性。
• 备择假设的后验概率提供了一种一致且可解释的依赖关系证据度量，优于基于p值的方法在检测微弱关联方面的能力。
• 该方法在多种依赖结构下表现稳健，包括单调、循环和二次关系，而传统检验方法常在此类情形下失效。
• 可逆跳跃MCMC的使用实现了对模型空间的高效探索，使得即使在高维设置下也能准确计算后验模型概率。
• 当使用300个置换样本在原假设下评估时，该检验在显著性水平0.05下保持了适当的I类错误控制。