[论文解读] A low variance consistent test of relative dependency

Wacha Bounliphone, Arthur Gretton+2 more|arXiv (Cornell University)|Jun 15, 2014

Bioinformatics and Genomic Networks参考文献 35被引用 4

一句话总结

本文提出了一种低方差、一致且无偏的非参数检验方法，用于判断某一源变量相对于两个目标变量中的哪一个具有更强的依赖性，该方法基于希尔伯特-施密特独立性核（HSIC）并结合联合渐近分布建模。通过利用HSIC统计量之间的协方差，该方法在统计功效上优于基于子采样的方法，在合成数据、语言学数据和生物医学数据中均表现出更优性能，p值低几个数量级。

ABSTRACT

We describe a novel non-parametric statistical hypothesis test of relative dependence between a source variable and two candidate target variables. Such a test enables us to determine whether one source variable is significantly more dependent on a first target variable or a second. Dependence is measured via the Hilbert-Schmidt Independence Criterion (HSIC), resulting in a pair of empirical dependence measures (source-target 1, source-target 2). We test whether the first dependence measure is significantly larger than the second. Modeling the covariance between these HSIC statistics leads to a provably more powerful test than the construction of independent HSIC statistics by sub-sampling. The resulting test is consistent and unbiased, and (being based on U-statistics) has favorable convergence properties. The test can be computed in quadratic time, matching the computational complexity of standard empirical HSIC estimators. The effectiveness of the test is demonstrated on several real-world problems: we identify language groups from a multilingual corpus, and we prove that tumor location is more dependent on gene expression than chromosomal imbalances. Source code is available for download at https://github.com/wbounliphone/reldep.

研究动机与目标

• 开发一种统计检验方法，以确定两个目标变量中哪一个与共同的源变量具有更强的依赖性。
• 解决现有非参数检验在比较多个目标之间相对依赖强度方面的缺失问题。
• 通过建模HSIC统计量之间的协方差而非将其视为独立，从而提升统计功效。
• 通过U-统计量理论和联合渐近分布推导，确保方法的一致性、无偏性和低方差。
• 通过基于旋转的算法，将方法推广至两个以上目标变量的情形。

提出的方法

• 该检验使用希尔伯特-施密特独立性核（HSIC）度量源变量与每个目标变量之间的依赖性，得到两个经验依赖性得分。
• 基于经典U-统计量理论（Hoeffding, 1963；Serfling, 1981），推导出两个HSIC统计量的联合渐近分布。
• 基于两个HSIC值的差异构建检验统计量，并利用其已知协方差关系最小化方差。
• 通过考虑两个HSIC估计量之间的依赖性，推导出一致、低方差且无偏的估计量。
• 对于超过两个目标变量的情况，通过旋转矩阵算法（算法1）进行推广，以保持低方差和一致性。
• 计算复杂度保持在样本大小的二次方，与标准HSIC估计器一致。

实验结果

研究问题

• RQ1 是否存在一种非参数检验方法，能够可靠地判断两个目标变量中哪一个与共同的源变量具有更强的依赖性？
• RQ2 建模两个HSIC统计量之间的协方差是否能带来比将其视为独立时更高的检验功效？
• RQ3 当应用于真实世界中的多变量和非欧几里得数据时，该检验能否保持低方差和一致性？
• RQ4 与基于子采样的替代方法相比，该检验在统计功效和p值表现上表现如何？
• RQ5 该方法能否推广至比较超过两个目标变量之间的相对依赖性？

主要发现

• 在经验评估中，所提检验的p值显著低于基于子采样的方法，部分情况下低几个数量级。
• 在多语言语料库任务中，该检验识别出语言组依赖关系，p值 < 10⁻⁹，显示出高度统计显著性。
• 在小儿胶质瘤数据中，该检验发现肿瘤位置与基因表达的依赖性高于染色体异常，p < 10⁻⁵，而独立检验的p值为0.005。
• 通过小胶质瘤数据的2σ等高曲线可视化，证实该依赖检验的方差远低于独立检验。
• 该方法保持了二次方时间复杂度，使其在HSIC通常适用的大规模数据集中具备可扩展性。
• 通过旋转矩阵方法成功实现了对超过两个目标变量的推广，同时保持了低方差和一致性。