[论文解读] Meta-Learning to Cluster

Yibo Jiang, Nakul Verma|arXiv (Cornell University)|Oct 30, 2019

Machine Learning and Data Classification参考文献 29被引用 4

一句话总结

本文提出了一种元学习框架，通过端到端训练循环神经网络（LSTM）直接学习聚类，而无需依赖人工设计的损失函数。通过在多样化的合成数据集和真实数据集上进行训练，该模型能够泛化到未见过的聚类任务，在小样本数据集上以及在聚类数量未知的情况下，其性能优于k-means和DBSCAN等标准基准方法。

ABSTRACT

Clustering is one of the most fundamental and wide-spread techniques in exploratory data analysis. Yet, the basic approach to clustering has not really changed: a practitioner hand-picks a task-specific clustering loss to optimize and fit the given data to reveal the underlying cluster structure. Some types of losses---such as k-means, or its non-linear version: kernelized k-means (centroid based), and DBSCAN (density based)---are popular choices due to their good empirical performance on a range of applications. Although every so often the clustering output using these standard losses fails to reveal the underlying structure, and the practitioner has to custom-design their own variation. In this work we take an intrinsically different approach to clustering: rather than fitting a dataset to a specific clustering loss, we train a recurrent model that learns how to cluster. The model uses as training pairs examples of datasets (as input) and its corresponding cluster identities (as output). By providing multiple types of training datasets as inputs, our model has the ability to generalize well on unseen datasets (new clustering tasks). Our experiments reveal that by training on simple synthetically generated datasets or on existing real datasets, we can achieve better clustering performance on unseen real-world datasets when compared with standard benchmark clustering techniques. Our meta clustering model works well even for small datasets where the usual deep learning models tend to perform worse.

研究动机与目标

• 开发一种通过元学习直接学习聚类的聚类方法，避免对特定任务损失函数的依赖。
• 通过利用合成数据集和真实标注数据集，解决在训练过程中缺乏真实聚类标签的无监督聚类挑战。
• 使模型能够自动推断正确的聚类数量，从而无需预先指定k值。
• 提升在小样本数据集和未见过的数据集上的聚类性能，这些场景下深度学习模型通常表现不佳。
• 通过单一元学习聚类策略，在多种数据分布上实现良好的泛化能力。

提出的方法

• 模型使用循环神经网络（LSTM）按顺序处理数据点，通过保持隐藏状态来基于先前观察到的点影响聚类分配。
• 训练样本由输入数据集及其对应的真值聚类身份组成，以实现聚类行为的端到端学习。
• 通过在具有不同聚类数量和特征维度的合成数据集与真实世界数据集分布上进行训练，以促进泛化能力。
• 为处理点之间的标签依赖关系，LSTM的顺序处理机制确保了上下文感知的聚类分配。
• 所有实验中保持架构一致，且不针对每个任务进行超参数调优，以突出模型的泛化能力。
• 在真实数据不足的情况下，通过增强合成数据集来提升模型性能与鲁棒性。

实验结果

研究问题

• RQ1 元学习模型是否能够在不依赖k-means或DBSCAN等预定义聚类目标的情况下，有效学习聚类？
• RQ2 在合成数据或简单真实数据集上训练的模型，能在多大程度上泛化到复杂且未见过的真实世界聚类任务？
• RQ3 元学习模型是否能够在无需预先指定k值的情况下，自动推断出正确的聚类数量？
• RQ4 在多种数据集和聚类配置下，元聚类模型的性能与标准聚类基线相比如何？
• RQ5 在标准深度学习模型通常表现不佳的小样本数据集上，该模型是否仍能保持较强的性能？

主要发现

• 在OpenML仓库的100个测试数据集上，元聚类模型实现了最低的错误率，优于k-means、核化k-means、DBSCAN和DEC在大多数设置下的表现。
• 仅在合成数据上进行训练时，该模型在k=3时的错误率为0.02 ± 0.01，显著优于次优基线（0.11 ± 0.02）。
• 在k=4时，模型的错误率降至0.58 ± 0.02，接近最佳基线表现，显示出即使在真实数据有限的情况下仍具有强大的泛化能力。
• 在k未知的设置下，该模型在k ∈ {2,3,4}时的错误率为0.53 ± 0.08，优于所有基线，包括DEC。
• 该模型在小样本数据集（N=100）上表现出鲁棒性，且无需预先指定k值即可准确推断聚类数量。
• 当训练数据选择不当或多样性不足时，性能受到限制，凸显了元学习中数据质量的重要性。