[论文解读] An Effective Evolutionary Clustering Algorithm: Hepatitis C Case Study

M. H. Marghny, Rasha M. Abd El-Aziz+1 more|arXiv (Cornell University)|Feb 27, 2014

Advanced Clustering Algorithms Research参考文献 27被引用 13

一句话总结

本文提出一种进化聚类算法，利用遗传算法（GAs）优化K-means的初始聚类中心，从而提升在大规模和噪声数据上的性能。应用于丙型肝炎数据集时，该方法降低了对初始条件的敏感性，通过局部均值插补处理缺失值，并在聚类结果的稳定性和准确性方面优于标准K-means。

ABSTRACT

Clustering analysis plays an important role in scientific research and commercial application. K-means algorithm is a widely used partition method in clustering. However, it is known that the K-means algorithm may get stuck at suboptimal solutions, depending on the choice of the initial cluster centers. In this article, we propose a technique to handle large scale data, which can select initial clustering center purposefully using Genetic algorithms (GAs), reduce the sensitivity to isolated point, avoid dissevering big cluster, and overcome deflexion of data in some degree that caused by the disproportion in data partitioning owing to adoption of multi-sampling. We applied our method to some public datasets these show the advantages of the proposed approach for example Hepatitis C dataset that has been taken from the machine learning warehouse of University of California. Our aim is to evaluate hepatitis dataset. In order to evaluate this dataset we did some preprocessing operation, the reason to preprocessing is to summarize the data in the best and suitable way for our algorithm. Missing values of the instances are adjusted using local mean method.

研究动机与目标

• 解决K-means聚类对初始聚类中心选择敏感的问题，该问题常导致次优解。
• 降低孤立数据点的影响，并防止聚类过程中大簇的碎片化。
• 缓解聚类工作流中多采样导致的数据分布偏差。
• 提升在真实世界生物医学数据集上的聚类性能，特别是来自UCI机器学习存储库的丙型肝炎数据集。
• 通过初始质心的进化优化，增强聚类结果的鲁棒性和稳定性。

提出的方法

• 使用遗传算法（GAs）搜索最优初始聚类中心，替代K-means中的随机初始化。
• 基于类内平方和（WCSS）设计适应度函数，用于评估GA优化过程中的聚类质量。
• 对丙型肝炎数据集中的缺失值应用局部均值插补，确保聚类前的数据完整性。
• 集成多采样技术以评估聚类稳定性，并减少因数据划分不均导致的偏差。
• 将GA优化的初始化与标准K-means迭代相结合，以细化聚类分配。
• 采用混合方法，使GA演化质心位置以最小化WCSS，从而提升收敛至更优局部最优解的能力。

实验结果

研究问题

• RQ1 基于遗传算法的初始化是否能显著提升K-means在大规模生物医学数据集上的聚类质量？
• RQ2 与标准K-means相比，该方法在多大程度上降低了对初始聚类中心选择的敏感性？
• RQ3 在存在噪声或孤立数据点的情况下，该方法在保持大簇并避免碎片化方面的有效性如何？
• RQ4 结合多采样与GA初始化是否能减少因数据划分不均导致的聚类结果偏差？
• RQ5 与基线K-means相比，该算法在丙型肝炎数据集上是否能实现更高的聚类准确性和稳定性？

主要发现

• 所提出的GA初始化K-means方法在丙型肝炎数据集上实现了比标准K-means更稳定和更准确的聚类结果。
• 该算法表现出对初始聚类中心选择的较低敏感性，有效避免收敛至较差的局部最优解。
• 局部均值插补有效处理了丙型肝炎数据集中的缺失值，提升了聚类的数据质量。
• 结合多采样与GA初始化的方法有助于减少因数据划分不均导致的偏差，增强了结果的一致性。
• 该方法在保持大簇方面表现出更强的鲁棒性，并有效减少了孤立数据点引起的碎片化。
• 混合GA-K-means方法在聚类质量方面优于传统K-means，表现为类内平方和（WCSS）更低，且在多次运行中结果更稳定。