[论文解读] Auto-clustering Output Layer: Automatic Learning of Latent Annotations in Neural Networks

Ozsel Kilinc, Ismail Uysal|arXiv (Cornell University)|Feb 28, 2017

Domain Adaptation and Few-Shot Learning参考文献 18被引用 4

一句话总结

本文提出自适应聚类输出层（ACOL），一种新型神经网络输出层，可在部分监督设置下实现联合监督分类与无监督聚类——即仅提供粗粒度父类标签，但需发现细粒度的潜在子类。通过为每个父类复制softmax节点并应用基于图的活动正则化（GAR），ACOL在无显式标签的情况下学习子类结构，在MNIST、SVHN和CIFAR-100上实现了最先进的聚类准确率。

ABSTRACT

In this paper, we discuss a different type of semi-supervised setting: a coarse level of labeling is available for all observations but the model has to learn a fine level of latent annotation for each one of them. Problems in this setting are likely to be encountered in many domains such as text categorization, protein function prediction, image classification as well as in exploratory scientific studies such as medical and genomics research. We consider this setting as simultaneously performed supervised classification (per the available coarse labels) and unsupervised clustering (within each one of the coarse labels) and propose a novel output layer modification called auto-clustering output layer (ACOL) that allows concurrent classification and clustering based on Graph-based Activity Regularization (GAR) technique. As the proposed output layer modification duplicates the softmax nodes at the output layer for each class, GAR allows for competitive learning between these duplicates on a traditional error-correction learning framework to ultimately enable a neural network to learn the latent annotations in this partially supervised setup. We demonstrate how the coarse label supervision impacts performance and helps propagate useful clustering information between sub-classes. Comparative tests on three of the most popular image datasets MNIST, SVHN and CIFAR-100 rigorously demonstrate the effectiveness and competitiveness of the proposed approach.

研究动机与目标

• 解决一种新型半监督设置：仅提供粗粒度父类标签，但需发现细粒度的潜在标注。
• 使神经网络能够在无显式子类标签的情况下，同时执行父类的监督分类与父类内部的无监督聚类。
• 开发一种可扩展的、端到端可训练的框架，仅使用父类监督自动学习子类结构。
• 在标准图像基准上验证方法的有效性，表明粗粒度监督可提升子类发现质量。

提出的方法

• 提出自适应聚类输出层（ACOL），为每个父类在输出层复制softmax节点，实现每个父类对应多个子簇。
• 引入基于图的活动正则化（GAR），在训练过程中促进复制的softmax节点之间的竞争与专业化。
• 构建联合目标函数，结合父类分类的交叉熵损失与基于GAR的正则化项，以实现子簇发现。
• 使用标准反向传播训练网络，其中GAR项引导网络在每个父类内部学习出不同的潜在标注。
• 使用t-SNE可视化定性验证所学习的子簇结构。
• 通过测试集上的无监督聚类准确率评估性能，并与k-means、高斯混合模型（GMM）及基于自编码器的基线方法进行比较。

实验结果

研究问题

• RQ1 当仅提供粗粒度父类标签时，神经网络能否学习到细粒度的潜在子类？
• RQ2 基于图的活动正则化（GAR）如何提升复制softmax节点在子簇发现中的专业化程度？
• RQ3 粗粒度父类监督在多大程度上提升了所学潜在标注的质量？
• RQ4 在无显式子标签的情况下，ACOL与传统聚类方法及自编码器基线方法相比表现如何？
• RQ5 当父类分类泛化能力较差时（如CIFAR-100），子簇学习性能是否会下降？

主要发现

• 在MNIST和SVHN上，ACOL分别取得36.90%（k=5）和21.66%（k=10）的测试错误率，优于k-means、GMM及基于自编码器的基线方法。
• 在CIFAR-100（20个超类）上，ACOL在k=5时取得44.64%的训练错误率与62.17%的测试错误率，表明性能受限于父类分类的泛化能力较差。
• t-SNE可视化证实模型学习到了有意义的子簇结构，父类内部呈现清晰分离。
• GAR正则化有效引导了复制softmax节点之间的竞争，促成了专业化子簇表征。
• 父类监督显著提升了子簇发现质量，尤其在网络在测试集上泛化良好时更为明显。
• ACOL在多种基准上表现出鲁棒性与竞争力，确立了该部分监督聚类设置下的新SOTA性能。