[论文解读] Hierarchical Clustering Using Mutual Information

Alexander Kraskov, Harald Stoegbauer+2 more|ArXiv.org|Nov 27, 2003

Fractal and DNA sequence analysis被引用 6

一句话总结

本文提出互信息聚类（MIC）算法，一种基于互信息（MI）作为相似性度量的层次聚类方法，利用MI的分组特性实现递归聚类合并。该方法通过捕捉非线性依赖关系，优于传统方法，在独立成分分析（ICA）输出中成功重构胎儿与母体心电图（ECG）成分，并能从线粒体DNA序列推断系统发育关系。

ABSTRACT

We present a method for hierarchical clustering of data called {\it mutual information clustering} (MIC) algorithm. It uses mutual information (MI) as a similarity measure and exploits its grouping property: The MI between three objects $X, Y,$ and $Z$ is equal to the sum of the MI between $X$ and $Y$, plus the MI between $Z$ and the combined object $(XY)$. We use this both in the Shannon (probabilistic) version of information theory and in the Kolmogorov (algorithmic) version. We apply our method to the construction of phylogenetic trees from mitochondrial DNA sequences and to the output of independent components analysis (ICA) as illustrated with the ECG of a pregnant woman.

研究动机与目标

• 开发一种能捕捉线性相关性之外非线性依赖关系的层次聚类方法。
• 利用互信息（MI）的分组特性实现递归聚类合并。
• 将基于MI的聚类方法应用于真实世界中的生物与生理数据，包括心电图与线粒体DNA。
• 证明基于MI的聚类方法在检测复杂依赖关系方面优于基于相关性的方法。
• 在独立成分分析（ICA）输出与系统发育数据上验证该方法，展示其鲁棒性与可解释性。

提出的方法

• MIC算法使用成对互信息（MI）作为数据点或聚类之间的接近度度量。
• 基于分组特性，递归合并互信息最高的两个聚类：I(X,Y,Z) = I(X,Y) + I((X,Y),Z)。
• 对连续变量使用非参数估计器估计MI，通过分箱法近似微分熵。
• 每一步更新邻近矩阵，移除已合并的聚类，并将新聚类与剩余聚类的MI值加入。
• 算法构建树状图，分支高度反映合并聚类之间的MI值。
• 应用截断阈值（例如0.1纳特）提取最终聚类，如将母体与胎儿ECG成分分离。

实验结果

研究问题

• RQ1 互信息能否作为层次聚类中稳健且信息丰富的相似性度量，特别是在存在非线性依赖关系时？
• RQ2 互信息的分组特性是否能支持一种有原则且递归的聚类合并方法？
• RQ3 MIC能否有效从ICA重构的成分中分离母体与胎儿心电图信号？
• RQ4 与传统方法相比，MIC在基于线粒体DNA序列进行系统发育重建时表现如何？
• RQ5 该方法能否在基因组学与电生理学等多样化生物数据类型上实现泛化？

主要发现

• MIC算法在ICA成分中成功识别出两个主要聚类：一个以母体ECG为主导（MI ≈ 1.44 nats），另一个以胎儿ECG为主导（MI ≈ 0.3 nats）。
• 采用0.1纳特作为聚类间MI的截断阈值，方法正确分离了母体与胎儿ECG成分，实现了从聚类数据中干净重构胎儿ECG。
• 树状图揭示了对应于母亲与婴儿的两个明显聚类，次要聚类被解释为噪声，证实了该方法检测生物上有意义分组的能力。
• MI的分组特性确保了稳定的层次结构，仅因MI值估计误差导致少量伪影。
• MIC在系统发育树构建与心电图信号分离任务中均表现出鲁棒性能，表明其在多个领域具有广泛适用性。
• 采用现代非参数方法改进MI估计可提升MIC的准确性，尤其在数据量增大或系统发育分析中包含更多物种时更为显著。