[论文解读] Clustering with Missing Features: A Penalized Dissimilarity Measure based approach

Shounak Datta, Supritam Bhattacharjee+1 more|arXiv (Cornell University)|Apr 22, 2016

Advanced Clustering Algorithms Research被引用 5

一句话总结

本文提出了一种惩罚性相异度度量方法——基于特征加权惩罚的相异度（FWPD），使k-me均值聚类和层次聚合聚类能够直接在具有缺失特征的数据集上进行，而无需插补。FWPD根据缺失或缺失特征对相异度进行惩罚，确保算法收敛，并在具有不同类型缺失模式的基准数据集上优于标准插补方法。

ABSTRACT

Many real-world clustering problems are plagued by incomplete data characterized by missing or absent features for some or all of the data instances. Traditional clustering methods cannot be directly applied to such data without preprocessing by imputation or marginalization techniques. In this article, we overcome this drawback by utilizing a penalized dissimilarity measure which we refer to as the Feature Weighted Penalty based Dissimilarity (FWPD). Using the FWPD measure, we modify the traditional k-means clustering algorithm and the standard hierarchical agglomerative clustering algorithms so as to make them directly applicable to datasets with missing features. We present time complexity analyses for these new techniques and also undertake a detailed theoretical analysis showing that the new FWPD based k-means algorithm converges to a local optimum within a finite number of iterations. We also present a detailed method for simulating random as well as feature dependent missingness. We report extensive experiments on various benchmark datasets for different types of missingness showing that the proposed clustering techniques have generally better results compared to some of the most well-known imputation methods which are commonly used to handle such incomplete data. We append a possible extension of the proposed dissimilarity measure to the case of absent features (where the unobserved features are known to be undefined).

研究动机与目标

• 解决在不依赖预处理插补或边际化的情况下对具有缺失特征的数据集进行聚类的挑战。
• 开发一种相异度度量方法，根据特征频率和结构缺失情况对缺失特征进行适当惩罚。
• 将传统的k均值和层次聚合聚类算法改进为可直接使用FWPD处理不完整数据。
• 理论上证明基于FWPD的k均值算法在有限次迭代内收敛至局部最优解。
• 在随机缺失和特征相关缺失模式下，对基准数据集进行性能评估，并与成熟的插补技术进行对比。

提出的方法

• 提出特征加权惩罚（FWP）作为基于每个特征在实例中出现次数的归一化惩罚项，当特征稀少时对缺失特征施加更重的惩罚。
• 将基于特征加权惩罚的相异度（FWPD）定义为归一化欧几里得距离与FWP的凸组合，其中超参数α平衡两个分量。
• 通过将传统距离度量替换为FWPD，对标准k均值和层次聚合聚类进行改进，以直接处理不完整数据。
• 针对结构缺失（缺失特征）提出一种改进的FWPD，其中特征被已知为未定义，通过惩罚非重叠特征集来实现。
• 理论分析证明，基于FWPD的k均值算法在有限次迭代内收敛至局部最优解，并满足半度量性质。
• 采用仿真框架生成随机和特征相关的缺失模式，用于实验验证。

实验结果

研究问题

• RQ1 能否设计一种相异度度量方法，有效处理聚类中缺失特征的问题，而无需插补或边际化？
• RQ2 在多种缺失模式下，所提出的FWPD度量与标准插补技术相比，在聚类准确率方面表现如何？
• RQ3 基于FWPD的k均值算法是否收敛至局部最优解？该结论能否通过理论证明？
• RQ4 在不同类型的缺失模式（MCAR、MAR、MNAR）和特征依赖关系下，FWPD聚类的性能表现如何？
• RQ5 FWPD能否扩展以处理结构缺失（缺失特征），即已知特征未定义的情况？

主要发现

• 基于FWPD的k均值算法在有限次迭代内收敛至局部最优解，理论证明成立。
• 在多种基准数据集和不同缺失场景下，所提出方法的聚类性能优于多种知名插补技术。
• FWPD度量能有效根据特征频率对缺失特征进行惩罚，赋予稀有特征更高权重，从而提升聚类的鲁棒性。
• 即使在特征相关缺失情况下，该方法仍优于基于插补的方法，表现出对复杂缺失机制的强适应能力。
• 将FWPD扩展至结构缺失（缺失特征）后，仍保持半度量性质，并可直接在具有未定义特征的数据集上进行聚类。
• 实验结果证实，基于FWPD的聚类方法在缺失率较高时，其准确性和稳定性均优于基于插补的替代方法。