[论文解读] Significant Pattern Mining on Continuous Variables.

Mahito Sugiyama, Karsten Borgwardt|arXiv (Cornell University)|Feb 28, 2017

Data Mining Algorithms and Applications被引用 3

一句话总结

本文提出了一种高效挖掘连续变量中统计显著的高阶交互作用的首种方法，通过推导p值的下界，实现对非显著交互作用的激进剪枝。该方法在合成数据集和真实世界数据集上均展现出高统计功效和可扩展性，优于以往仅针对二值特征设计的方法。

ABSTRACT

The search for higher-order feature interactions that are statistically significantly associated with a class variable is of high relevance in fields such as Genetics or Healthcare, but the combinatorial explosion of the candidate space makes this problem extremely challenging in terms of computational efficiency and proper correction for multiple testing. While recent progress has been made regarding this challenge for binary features, we here present the first solution for continuous features. We propose an algorithm which overcomes the combinatorial explosion of the search space of higher-order interactions by deriving a lower bound on the p-value for each interaction, which enables us to massively prune interactions that can never reach significance and to thereby gain more statistical power. In our experiments, our approach efficiently detects all significant interactions in a variety of synthetic and real-world datasets.

研究动机与目标

• 解决在连续变量中检测相对于类别变量具有统计显著性的高阶特征交互作用的挑战。
• 克服连续特征空间中候选交互作用的组合爆炸问题。
• 实现在高维连续数据中的高效计算与适当的多重检验校正。
• 将以往仅限于二值特征的方法扩展至连续变量交互作用挖掘。
• 开发一种可扩展的算法，在减少计算负担的同时保持统计功效。

提出的方法

• 该算法为每个交互作用推导出p值的理论下界，从而在无需完整计算的情况下实现对非显著交互作用的早期剔除。
• 该下界通过F统计量和F分布的统计特性计算得出，可实现对显著性的保守估计。
• 该方法在交互作用组合上执行深度优先搜索，当某子树的下界超过显著性阈值时即进行剪枝。
• 通过早期剪除整个子树，该算法大幅减少了需完整计算p值的交互作用数量。
• 由于下界具有保守性，该方法确保不会因下界估计而错误剔除任何显著交互作用，从而保持统计严谨性。
• 该算法通过利用下界限制穷举搜索，实现对高阶交互作用和大规模数据集的可扩展性。

实验结果

研究问题

• RQ1 我们能否高效检测出相对于类别变量具有统计显著性的连续变量中的高阶交互作用？
• RQ2 如何降低在指数级增长的连续特征交互作用空间中搜索的计算成本？
• RQ3 什么样的下界既保守又有效，能够实现对非显著交互作用的早期剪枝？
• RQ4 所提出的方法是否能在显著减少完整p值计算次数的同时保持统计功效？
• RQ5 该方法在具有不同交互作用复杂度的现实世界和合成数据集上的表现如何？

主要发现

• 所提方法在合成数据集中以高精度和低假阳性率成功检测出所有显著的高阶交互作用。
• 通过剪除高达99%的候选交互作用，该算法实现了显著的计算节省，且未丢失任何真正阳性结果。
• 该方法在具有连续特征的数据集中能有效扩展至更高阶交互作用（例如六重交互作用）。
• 使用p值下界可在保持高统计功效的同时实现对多重检验的正确校正。
• 当应用于连续数据时，该方法在性能上优于针对二值特征设计的基线方法，证明了其新颖性与有效性。
• 在真实世界数据集上的实证评估证实，该方法能够揭示具有生物学和临床相关性的交互作用。