[论文解读] Info-Clustering: A Mathematical Theory for Data Clustering

Chung Chan, Ali Al-Bashabsheh+3 more|arXiv (Cornell University)|May 4, 2016

Complex Network Analysis Techniques参考文献 99被引用 6

一句话总结

本文提出信息聚类（info-clustering），一种基于多元互信息的新型信息论框架，用于数据聚类，该框架将香农的互信息扩展至多个随机变量，实现了对人类基因组和神经连接组等复杂生物系统进行分层聚类。通过将高互信息的变量分组，该方法提供了一种数学上严谨、计算上可行的聚类替代方案，相较于传统聚类方法具有更高的可解释性与对称性保持能力。

ABSTRACT

We formulate an info-clustering paradigm based on a multivariate information measure, called multivariate mutual information, that naturally extends Shannon's mutual information between two random variables to the multivariate case involving more than two random variables. With proper model reductions, we show that the paradigm can be applied to study the human genome and connectome in a more meaningful way than the conventional algorithmic approach. Not only can info-clustering provide justifications and refinements to some existing techniques, but it also inspires new computationally feasible solutions.

研究动机与目标

• 开发一个基于多元信息论的严谨数学聚类框架。
• 通过量化超越成对关系的依赖性，解决高维生物数据（如基因表达与神经连接）聚类的挑战。
• 为基因组学与神经科学中启发式聚类方法提供一个原则性更强的替代方案，更好地尊重潜在的统计依赖性与对称性。
• 展示该方法能够验证并改进现有聚类技术，同时启发计算效率更高的新算法。
• 通过基于阈值的聚类方法建立分区的层次结构，利用多元互信息实现对人类基因组与神经连接组等复杂系统的可扩展分析。

提出的方法

• 提出一种多元互信息度量作为量化多个随机变量之间依赖性的核心信息论量。
• 提出一种基于调节多元互信息阈值的分层聚类范式，以生成一系列分区。
• 应用集合函数的Dilworth截断方法来建模聚类目标，确保子模性并实现高效优化。
• 采用两种优化公式：主分区序列（PSP）与最小平均成本（MAC），二者均源自包含参数化子模函数的广义成本函数。
• 通过将每个数据对象视为一个随机变量并分组高互信息的子集，引入“信息聚类”概念，利用相关结构的对称性。
• 在合成数据与生物数据上验证该方法，结果表明最优分区尊重已知对称性与统计依赖性，如相关基因或神经元群组中的依赖关系。

实验结果

研究问题

• RQ1 如何形式化多元互信息，以在数学上一致地将香农的成对互信息扩展至多个变量？
• RQ2 基于多元互信息的分层聚类框架是否能在捕捉复杂系统中生物上有意义的分组方面优于传统聚类方法？
• RQ3 主分区序列与最小平均成本等不同优化准则在聚类解中保持对称性与统计结构方面有何比较？
• RQ4 信息聚类在多大程度上能够验证或改进基因组学与连接组学中现有的聚类技术？
• RQ5 在何种条件下，最优聚类解能尊重生物数据中固有的对称性与条件独立性结构？

主要发现

• 所提出的info-clustering框架成功利用多元互信息生成了分区的层次结构，其中主分区序列（PSP）在相关组中保持了对称性。
• 对于具有{1,2,3}间对称相关性且{4}独立的四变量系统，PSP解正确识别出{1,2,3}为单一聚类，而k=1且s≥3.5时的MAC解也恢复了该聚类，证实了在特定参数范围内的一致性。
• 当k=2时，最小平均成本（MAC）公式无法保持对称性，产生如{{1,2},{3},{4}}等不反映底层相关结构的分区，表明MAC在对称设置下存在局限性。
• MAC公式的最优解对参数s极为敏感；当s<3.5时，解会转向对称性较低的分区，表明对参数选择高度敏感。
• 子模函数f=h_s的Dilworth截断确保了聚类目标的子模性，从而可通过贪心或动态规划方法高效计算最优分区。
• 该框架为聚类提供了坚实的数学基础，通过信息论原则而非启发式相似性度量，验证了已知的生物聚类（如共表达基因或功能连接神经元）的合理性。