[论文解读] Deep Clustering using Auto-Clustering Output Layer.

Ozsel Kilinc, Ismail Uysal|arXiv (Cornell University)|Feb 28, 2017

Domain Adaptation and Few-Shot Learning被引用 1

一句话总结

本文提出自适应聚类输出层（ACOL），一种新颖的神经网络输出层，可在部分标注设置下实现联合监督分类与无监督聚类，其中所有样本均具有粗粒度标签，但需要学习细粒度潜在标注。通过为每个类别复制Softmax节点并应用基于图的活性正则化，ACOL促进了聚类间的竞争学习，显著提升了在MNIST、SVHN和CIFAR-100上的性能。

ABSTRACT

In this paper, we discuss a different type of semi-supervised setting: a coarse level of labeling is available for all observations but the model has to learn a fine level of latent annotation for each one of them. Problems in this setting are likely to be encountered in many domains such as text categorization, protein function prediction, image classification as well as in exploratory scientific studies such as medical and genomics research. We consider this setting as simultaneously performed supervised classification (per the available coarse labels) and unsupervised clustering (within each one of the coarse labels) and propose a novel output layer modification called auto-clustering output layer (ACOL) that allows concurrent classification and clustering based on Graph-based Activity Regularization (GAR) technique. As the proposed output layer modification duplicates the softmax nodes at the output layer for each class, GAR allows for competitive learning between these duplicates on a traditional error-correction learning framework to ultimately enable a neural network to learn the latent annotations in this partially supervised setup. We demonstrate how the coarse label supervision impacts performance and helps propagate useful clustering information between sub-classes. Comparative tests on three of the most popular image datasets MNIST, SVHN and CIFAR-100 rigorously demonstrate the effectiveness and competitiveness of the proposed approach.

研究动机与目标

• 解决在仅对所有数据点提供粗粒度标签时，学习细粒度潜在标注的挑战。
• 在每个粗粒度类别内，实现利用粗粒度标签进行同时监督分类与无监督聚类。
• 设计一种支持此混合学习设置端到端训练的神经网络架构。
• 通过利用粗粒度标签监督，将有用结构传播至子类，从而提升聚类质量。
• 在标准图像基准数据集上验证所提方法的有效性。

提出的方法

• 引入自适应聚类输出层（ACOL），为每个粗粒度类别在输出层复制Softmax节点。
• 应用基于图的活性正则化（GAR），以促进复制的Softmax节点之间的竞争学习。
• 采用传统的误差校正学习框架，联合训练网络以同时优化分类与聚类目标。
• 基于隐藏表示构建图，以正则化复制输出节点的活性模式。
• 使用包含分类损失与基于GAR的聚类正则化项的联合损失函数优化网络。
• 通过端到端反向传播，使模型能够学习每个粗粒度类别内部的细粒度聚类结构。

实验结果

研究问题

• RQ1 当仅提供粗粒度标签时，神经网络能否有效学习细粒度潜在聚类结构？
• RQ2 粗粒度标签监督在多大程度上提升了每个类别内无监督聚类的质量？
• RQ3 与标准分类或仅聚类方法相比，所提出的ACOL层在多大程度上提升了聚类性能？
• RQ4 基于图的活性正则化（GAR）机制是否成功促进了复制输出节点之间的竞争学习？
• RQ5 该方法在MNIST、SVHN和CIFAR-100等多样化图像数据集上的泛化能力如何？

主要发现

• 所提出的ACOL方法在MNIST、SVHN和CIFAR-100上均取得具有竞争力的性能，展现出优异的跨数据集泛化能力。
• 粗粒度标签监督通过促进子类间的知识传播，显著提升了聚类质量。
• 基于图的活性正则化（GAR）技术成功实现了复制Softmax节点间的竞争学习，从而获得更优的聚类分离效果。
• 在部分标注设置下，分类与聚类联合学习框架的表现优于标准监督与无监督基线方法。
• 即使在训练过程中未提供显式的细粒度标签，该方法仍能有效学习细粒度潜在标注。
• 结果表明，ACOL层在不增加输出层以外的架构复杂度的前提下，显著增强了模型的聚类能力。