[论文解读] Centroid Networks for Few-Shot Clustering and Unsupervised Few-Shot Classification.

Gabriel Huang, Hugo Larochelle+1 more|arXiv (Cornell University)|Feb 22, 2019

Domain Adaptation and Few-Shot Learning被引用 13

一句话总结

本文提出中心点网络（Centroid Networks），一种少样本聚类方法，通过学习与任务相关的表征来提升聚类性能，且无需标签。通过将聚类建模为元学习问题，并引入无监督少样本分类，该方法在Omniglot和miniImageNet数据集上实现了与有监督少样本分类方法相当的性能，尽管其支持集不包含任何标签。

ABSTRACT

Traditional clustering algorithms such as K-means rely heavily on the nature of the chosen metric or data representation. To get meaningful clusters, these representations need to be tailored to the downstream task (e.g. cluster photos by object category, cluster faces by identity). Therefore, we frame clustering as a meta-learning task, few-shot clustering, which allows us to specify how to cluster the data at the meta-training level, despite the clustering algorithm itself being unsupervised. We propose Centroid Networks, a simple and efficient few-shot clustering method based on learning representations which are tailored both to the task to solve and to its internal clustering module. We also introduce unsupervised few-shot classification, which is conceptually similar to few-shot clustering, but is strictly harder than supervised* few-shot classification and therefore allows direct comparison with existing supervised few-shot classification methods. On Omniglot and miniImageNet, our method achieves accuracy competitive with popular supervised few-shot classification algorithms, despite using *no labels* from the support set. We also show performance competitive with state-of-the-art learning-to-cluster methods.

研究动机与目标

• 为解决传统聚类方法严重依赖与下游任务不匹配的预定义度量或表征的局限性。
• 将聚类建模为元学习问题——即少样本聚类，使聚类策略在元训练过程中被学习。
• 引入无监督少样本分类作为更具挑战性、更直接的基准，用于与有监督少样本分类方法进行比较。
• 开发一种表征学习方法，使其既针对聚类任务，又与内部聚类模块兼容，从而提升聚类质量。

提出的方法

• 提出中心点网络（Centroid Networks），一种神经网络架构，可学习针对特定聚类任务及其内部聚类模块优化的表征。
• 使用元学习训练模型，使其在推理阶段能泛化到新的少样本聚类任务，即使支持集中无标签。
• 引入无监督少样本分类设置，模型必须在无任何监督的情况下将支持集分类到聚类中，使其比有监督变体更具挑战性。
• 采用基于中心点的聚类模块，其中每个类别由一个原型（中心点）表示，样本根据其与这些中心点的距离进行分配。
• 使用对比损失端到端训练模型，以在嵌入空间中促进类内紧凑性和类间分离性。
• 将学习到的表征应用于少样本聚类和无监督少样本分类，实现对新类别的零样本泛化。

实验结果

研究问题

• RQ1 聚类能否被有效建模为少样本元学习问题，以提升对新任务的泛化能力？
• RQ2 能否设计一种表征学习方法，使其既针对任务又与内部聚类模块兼容？
• RQ3 无监督少样本分类是否能提供一个有意义的基准，用于与有监督少样本分类方法进行比较？
• RQ4 能否在不使用支持集中任何标签的情况下，实现与少样本聚类和分类方法相当的性能？

主要发现

• 尽管未使用支持集中的任何标签，中心点网络在Omniglot和miniImageNet上的性能与最先进有监督少样本分类方法相当。
• 所提出的无监督少样本分类设置提供了一个有意义且更严格的基准，优于有监督变体，使与现有方法的直接比较成为可能。
• 该方法在Omniglot和miniImageNet上均优于现有学习聚类方法，证明了其对新类别的强大泛化能力。
• 与K-means等标准聚类基线方法结合标准特征提取器相比，任务感知表征学习显著提升了聚类质量。