[论文解读] Asymptotic Behavior of Mean Partitions in Consensus Clustering

Brijnesh J. Jain|arXiv (Cornell University)|Dec 18, 2015

Bayesian Methods and Mixture Models参考文献 20被引用 3

一句话总结

本文通过将划分表示为轨道空间中的点，利用弗雷chet均值和随机规划，建立了共识聚类中均值划分的渐近一致性和渐近正态性。证明了在温和的正则性条件下，均值划分依概率收敛于期望划分，从而在实践中为有限但足够大的样本量提供了理论依据。

ABSTRACT

Although consistency is a minimum requirement of any estimator, little is known about consistency of the mean partition approach in consensus clustering. This contribution studies the asymptotic behavior of mean partitions. We show that under normal assumptions, the mean partition approach is consistent and asymptotic normal. To derive both results, we represent partitions as points of some geometric space, called orbit space. Then we draw on results from the theory of Fréchet means and stochastic programming. The asymptotic properties hold for continuous extensions of standard cluster criteria (indices). The results justify consensus clustering using finite but sufficiently large sample sizes. Furthermore, the orbit space framework provides a mathematical foundation for studying further statistical, geometrical, and analytical properties of sets of partitions.

研究动机与目标

• 建立共识聚类中均值划分的渐近行为，填补理论依据的关键空白。
• 消除先前研究中的限制性假设，如期望划分的唯一性及强集中条件。
• 为使用轨道空间和度量结构分析划分集合提供几何基础。
• 通过标准聚类准则的连续延拓，统一处理硬划分与软划分。
• 通过一致性结果，为共识聚类中使用有限但足够大的样本量提供理论支持。

提出的方法

• 将划分表示为欧氏空间导出的轨道空间中的点，实现其几何与分析处理。
• 使用弗雷chet函数在轨道空间上将共识聚类定义为最小化问题。
• 应用随机规划的结果，在弱正则性条件下推导一致性与渐近正态性。
• 引入标准聚类准则（如兰德指数、调整兰德指数、互信息）的连续延拓，以处理软划分。
• 在轨道空间上采用度量结构，确保共识函数的连续性与收敛性。
• 利用弗雷chet均值与随机优化理论，证明渐近性质，无需紧致性或强集中性假设。

实验结果

研究问题

• RQ1 随着样本量增大，共识聚类中均值划分在何种条件下具有一致性？
• RQ2 在聚类准则的一般假设下，能否建立均值划分的渐近正态性？
• RQ3 如何对标准离散聚类指数进行连续延拓，以支持软划分与几何分析？
• RQ4 何种几何框架能够实现对划分集合统计性质的严格研究？
• RQ5 在相同的理论基础下，均值划分方法对硬划分与软划分是否均保持有效？

主要发现

• 在温和正则性条件下，均值划分方法具有一致性，即随着样本量增加，其依概率收敛于期望划分。
• 均值划分渐近正态，意味着其抽样分布对大样本趋近于正态分布。
• 轨道空间框架为划分提供了连续的几何表示，使数学统计中的高级工具得以应用。
• 构建了标准聚类准则（如兰德指数、互信息）的连续延拓，并证明其连续性，支持理论分析。
• 结果对硬划分与软划分均成立，统一了共识聚类的理论处理。
• 通过两种互补方法推导渐近性质：弗雷chet均值与随机规划，二者在不同假设下均得出一致结果。