[论文解读] Discovering Association with Copula Entropy

Jian Ma|arXiv (Cornell University)|Jul 29, 2019

Complex Systems and Time Series Analysis参考文献 20被引用 11

一句话总结

本文提出了一种基于互克隆熵（CE）的新颖关联发现方法，这是一种非参数度量方法，能够捕捉传统相关系数无法涵盖的线性和非线性依赖关系。在NHANES生物医学数据上的应用表明，CE在揭示与糖尿病、环境暴露及塑化剂代谢物相关的生物意义关联方面优于皮尔逊相关系数和斯皮尔曼等级相关系数。

ABSTRACT

Discovering associations is of central importance in scientific practices. Currently, most researches consider only linear association measured by correlation coefficient, which has its theoretical limitations. In this paper, we propose a new method for discovering association with copula entropy -- a universal applicable association measure for not only linear cases, but nonlinear cases. The advantage of the method based on copula entropy over traditional method is demonstrated on the NHANES data by discovering more biomedical meaningful associations.

研究动机与目标

• 解决传统相关系数仅能捕捉线性关联而忽略非线性依赖关系的局限性。
• 开发一种理论坚实且普遍适用的关联度量方法，超越二阶依赖关系。
• 展示互克隆熵在真实世界数据集中发现生物医学意义关联的实际优势。
• 提供一种非参数化、基于信息论的关联发现框架，适用于多变量和非线性系统，且具有一致性。

提出的方法

• 采用互克隆熵（CE）作为统计依赖性的度量，定义为：$ H_c(\mathbf{X}) = -\int c(\mathbf{u}) \log c(\mathbf{u}) d\mathbf{u} $，即Copula密度函数加权对数的负积分。
• 利用互信息（MI）与负互克隆熵之间的理论等价性：$ I(\mathbf{X}) = -H_c(\mathbf{X}) $，从而通过CE估计互信息。
• 采用两步非参数估计流程：首先利用经验累积分布函数估计经验Copula密度（ECD），然后使用k-最近邻（kNN）方法估计熵以获得CE。
• 将该方法应用于真实生物医学数据（NHANES），比较CE、皮尔逊相关系数和斯皮尔曼等级相关系数的关联模式。
• 通过矩阵可视化比较关联结构，突出传统方法所遗漏的非对角线关联。
• 基于已知生物医学知识验证结果，评估所发现关联的生物合理性。

实验结果

研究问题

• RQ1 在生物医学数据中，互克隆熵是否能够检测到比传统相关系数更全面且更具生物意义的关联？
• RQ2 与皮尔逊相关系数和斯皮尔曼等级相关系数相比，互克隆熵在捕捉非线性和高阶依赖关系方面表现如何？
• RQ3 互克隆熵揭示了哪些传统线性相关度量所遗漏的生物医学意义关联？
• RQ4 使用互克隆熵是否能提供多变量系统中统计依赖关系更清晰、更易解释的表示？
• RQ5 互克隆熵在多大程度上提升了与疾病风险、环境暴露及代谢标志物相关联的发现能力？

主要发现

• 互克隆熵在NHANES数据中揭示了5个具有生物一致性的关联群组，包括与2型糖尿病风险、环境化学物质暴露及塑化剂代谢物相关的关联。
• 基于CE的关联矩阵显示出显著多于皮尔逊相关矩阵的非对角线关联，表明其成功检测到非线性和高阶依赖关系。
• 与皮尔逊相关系数 $ r $ 相比，CE识别出更多关联，尤其在与胰岛素抵抗、甘油三酯和脂蛋白相关的变量中，这些变量在代谢综合征中已被证实存在相互关联。
• 在非正态分布及非线性依赖变量中，CE矩阵展现出比皮尔逊和斯皮尔曼相关更强且更一致的依赖模式。
• 第3组关联（如口服葡萄糖、胰岛素、胆固醇）与2型糖尿病的已知病理生理机制一致，验证了CE所识别关联的生物学相关性。
• CE检测到尿液中邻苯二甲酸酯代谢物与金属元素（第5组和第1组）之间的有意义关联，支持环境健康研究中已知的共暴露模式。