[论文解读] Homogeneity of Cluster Ensembles

Brijnesh J. Jain|arXiv (Cornell University)|Feb 8, 2016

Advanced Clustering Algorithms Research参考文献 23被引用 3

一句话总结

本文解決了聚類集成中均值劃分的非唯一性問題，提出以同質性作為衡量均值唯一性可能性的指標。文章建立了唯一性的充分條件，將同質性與聚類穩定性關聯，並提供可計算的同質性下界，用以識別異常劃分，表明透過更大數據集或移除異常值，實務上可實現唯一性。

ABSTRACT

The expectation and the mean of partitions generated by a cluster ensemble are not unique in general. This issue poses challenges in statistical inference and cluster stability. In this contribution, we state sufficient conditions for uniqueness of expectation and mean. The proposed conditions show that a unique mean is neither exceptional nor generic. To cope with this issue, we introduce homogeneity as a measure of how likely is a unique mean for a sample of partitions. We show that homogeneity is related to cluster stability. This result points to a possible conflict between cluster stability and diversity in consensus clustering. To assess homogeneity in a practical setting, we propose an efficient way to compute a lower bound of homogeneity. Empirical results using the k-means algorithm suggest that uniqueness of the mean partition is not exceptional for real-world data. Moreover, for samples of high homogeneity, uniqueness can be enforced by increasing the number of data points or by removing outlier partitions. In a broader context, this contribution can be placed as a further step towards a statistical theory of partitions.

研究动机与目标

• 解決聚類集成中均值劃分非唯一性所帶來的統計推論、一致性與穩定性問題。
• 探討均值劃分在何種條件下具有唯一性，挑戰「唯一性為少數或普遍」的假設。
• 引入同質性作為實用指標，量化樣本劃分接近唯一均值的程度。
• 探討同質性與聚類穩定性的關係，揭示共識聚類中的多樣性與標準聚類中穩定性之間的潛在衝突。
• 提供同質性的可計算下界，以指導實務中選擇能確保均值唯一的劃分。

提出的方法

• 將劃分表示為賦予內在度量的軌道空間中的點，該度量源自歐幾里得距離，從而實現幾何分析。
• 定義弗雷chet函數，將均值劃分形式化為內在度量下劃分內差異性的最小化器。
• 建立均值劃分唯一的充分條件，證明當樣本劃分位於軌道空間中足夠小的球內時，唯一性成立。
• 引入同質性作為接近唯一的下界可計算指標，基於軌道空間中劃分的分散程度。
• 提出利用樣本中聚類指派之間的最小距離計算同質性的可計算下界，從而實現高效的異常值檢測。
• 透過顯示高同質性與低不穩定性相關，將同質性與聚類穩定性連結，暗示共識聚類中多樣性與標準聚類中穩定性之間存在權衡。

实验结果

研究问题

• RQ1 在何種條件下，聚類集成的均值劃分被唯一定義？
• RQ2 在實際聚類場景中，均值劃分的唯一性是少數現象還是普遍現象？
• RQ3 同質性應如何正式定義與計算，作為唯一均值存在可能性的代理指標？
• RQ4 同質性與共識聚類中聚類穩定性之間的關係為何？
• RQ5 能否利用同質性來提升共識聚類的可靠性，透過識別並移除異常劃分？

主要发现

• 若所有樣本劃分位於軌道空間中足夠小的球內，則均值劃分唯一，提供了唯一性的幾何條件。
• 同質性被引入為衡量樣本接近唯一均值程度的指標，同質性越高，表示唯一性可能性越大。
• 推導出同質性的可計算下界，有助於識別阻礙唯一性的異常劃分，並可透過移除這些劃分來強制實現唯一性。
• 在合成數據與UCI數據集上應用k-means的實證結果顯示，實務數據中均值劃分的唯一性並非罕見現象。
• 對於同質性高的樣本，可透過增加數據點數量或移除異常劃分來強制實現唯一性，顯示出穩定共識聚類的實務策略。
• 同質性與聚類穩定性正相關，顯示共識聚類中多樣性目標與標準聚類中穩定性目標之間存在潛在衝突。