[论文解读] Clustering on Multiple Incomplete Datasets via Collective Kernel Learning

Weixiang Shao, Xiaoxiao Shi+1 more|arXiv (Cornell University)|Oct 4, 2013

Face and Expression Recognition参考文献 22被引用 18

一句话总结

本文提出集体核学习（CoKL），一种通过在多个数据集中对齐共享样本以迭代填补核矩阵的聚类方法。即使在没有任何数据集完整的情况下，其在标准化互信息（NMI）指标上仍比现有方法最高提升2倍。

ABSTRACT

Multiple datasets containing different types of features may be available for a given task. For instance, users' profiles can be used to group users for recommendation systems. In addition, a model can also use users' historical behaviors and credit history to group users. Each dataset contains different information and suffices for learning. A number of clustering algorithms on multiple datasets were proposed during the past few years. These algorithms assume that at least one dataset is complete. So far as we know, all the previous methods will not be applicable if there is no complete dataset available. However, in reality, there are many situations where no dataset is complete. As in building a recommendation system, some new users may not have a profile or historical behaviors, while some may not have a credit history. Hence, no available dataset is complete. In order to solve this problem, we propose an approach called Collective Kernel Learning to infer hidden sample similarity from multiple incomplete datasets. The idea is to collectively completes the kernel matrices of incomplete datasets by optimizing the alignment of the shared instances of the datasets. Furthermore, a clustering algorithm is proposed based on the kernel matrix. The experiments on both synthetic and real datasets demonstrate the effectiveness of the proposed approach. The proposed clustering algorithm outperforms the comparison algorithms by as much as two times in normalized mutual information.

研究动机与目标

• 解决所有数据集均不完整时的聚类挑战，这是以往多视图聚类方法所无法处理的情形。
• 克服现有方法必须至少依赖一个完整数据集才能进行聚类的局限性。
• 开发一种高效、迭代的核矩阵填补方法，避免直接填补缺失特征。
• 将集体核学习与核典型相关分析（KCCA）相结合，以提升聚类性能。

提出的方法

• 利用集体核学习通过在多个数据集中对齐共享样本的相似性，完成不完整的核矩阵。
• 构建一个优化问题，以最小化不同数据集中重叠样本的核矩阵之间的差异。
• 通过迭代求解约束优化问题，利用缺失条目初始估计值更新核矩阵。
• 在完成的核矩阵上应用核典型相关分析（KCCA），以寻找跨视图的典型相关投影。
• 在KCCA投影空间中执行标准聚类（如谱聚类），获得最终的聚类分配结果。
• 使用默认值（如零或均值）初始化核矩阵中的缺失条目，以启动迭代填补过程。

实验结果

研究问题

• RQ1 当所有数据集均不完整、且不依赖任何完整数据集时，是否仍能有效进行聚类？
• RQ2 通过共享样本对齐，能否高效完成多个不完整数据集中的核矩阵？
• RQ3 与至少需要一个完整数据集的方法相比，集体核学习是否能提升聚类性能？
• RQ4 CoKL的收敛行为如何随数据集中缺失率的增加而变化？

主要发现

• 所提出的聚类算法在合成数据集和真实世界数据集上的标准化互信息（NMI）指标上，相比基线方法最高提升200%。
• CoKL在所有实验设置下均能在10次迭代内收敛，表现出快速收敛性。
• 收敛所需的迭代次数随缺失率增加仅略有上升，且呈极小斜率的线性增长。
• 在UCI种子数据集上，收敛时间几乎不随缺失率变化，表现出强鲁棒性。
• 在手写荷兰数字识别数据集上，收敛时间随缺失率线性增加，但仍保持高效。
• 该方法能有效处理现实场景中无任何数据集完整的情况，例如新用户缺乏个人资料、行为或信用数据。