[论文解读] Condorcet's Jury Theorem for Consensus Clustering and its Implications for Diversity

Brijnesh J. Jain|arXiv (Cornell University)|Apr 26, 2016

Data Management and Algorithms参考文献 40被引用 3

一句话总结

本文将康多塞陪审团定理扩展至基于平均划分方法的共识聚类，表明当样本划分从唯一真实划分的邻域内随机抽取时，随着划分数量的增加，共识结果会收敛至真实划分。与普遍认知相反，本研究认为样本划分之间过度的多样性可能损害共识质量，因此限制多样性对于获得可靠聚类结果至关重要。

ABSTRACT

Condorcet's Jury Theorem has been invoked for ensemble classifiers to indicate that the combination of many classifiers can have better predictive performance than a single classifier. Such a theoretical underpinning is unknown for consensus clustering. This article extends Condorcet's Jury Theorem to the mean partition approach under the additional assumptions that a unique ground-truth partition exists and sample partitions are drawn from a sufficiently small ball containing the ground-truth. As an implication of practical relevance, we question the claim that the quality of consensus clustering depends on the diversity of the sample partitions. Instead, we conjecture that limiting the diversity of the mean partitions is necessary for controlling the quality.

研究动机与目标

• 为共识聚类提供类似于集成分类中康多塞陪审团定理的理论基础。
• 研究样本划分之间的多样性是否提升或削弱共识聚类的性能。
• 挑战普遍认为高多样性可提升共识聚类质量的假设。
• 形式化平均划分收敛至真实划分的条件。

提出的方法

• 将共识聚类建模为在划分上的投票过程，采用基于欧几里得范数诱导的度量空间结构的平均划分方法。
• 假设样本划分独立同分布地从真实划分的邻域小球中抽取。
• 应用平均划分定理，证明随着样本划分数量的增加，共识划分几乎必然收敛至真实划分。
• 使用二项分布计算多数样本划分正确分类每个数据点的概率。
• 通过成员向量的内积定义共识划分与真实划分的一致性，将每个数据点的分类视为一次二元投票。
• 利用弗雷歇均值及度量空间中统计收敛的结果，证明经验平均划分几乎必然收敛至期望划分。

实验结果

研究问题

• RQ1 在何种条件下，一组样本划分的平均划分会收敛至真实的真实划分？
• RQ2 样本划分之间的多样性是否提升或降低共识聚类的质量？
• RQ3 康多塞陪审团定理能否扩展至基于度量的平均方法的共识聚类情境？
• RQ4 真实划分周围邻域的大小在确保共识结果收敛中起什么作用？
• RQ5 为何实证研究在多样性作用上的结论相互矛盾？

主要发现

• 当样本划分从真实划分的足够小邻域中抽取时，共识划分几乎必然收敛至真实划分。
• 只要每个样本划分的正确性概率大于0.5，随着划分数量的增加，多数样本划分正确分类某一数据点的概率趋近于1。
• 本研究挑战了传统观点认为多样性可增强共识聚类质量的信念，反而表明限制多样性是控制聚类质量所必需的。
• 实证研究在多样性作用上的矛盾结果，可能源于缺乏对划分相似性的理论约束，而本文对此进行了形式化。
• 在真实划分唯一且样本划分独立同分布地从其小邻域中抽取的假设下，该收敛结果成立。
• 该理论框架为共识聚类提供了与康多塞陪审团定理在集成分类中的作用类似的理论依据。