[论文解读] Learning Latent Representations in Neural Networks for Clustering through Pseudo Supervision and Graph-based Activity Regularization

Ozsel Kilinc, Ismail Uysal|arXiv (Cornell University)|Feb 8, 2018

Domain Adaptation and Few-Shot Learning参考文献 15被引用 18

一句话总结

本文提出了一种新颖的无监督聚类方法，通过领域特定变换实现伪监督，以学习解耦的、适合k-means的潜在表征。通过将伪父类别与变换（例如旋转）关联，并使用基于图的活动正则化（GAR）使每个类别的多个softmax头专业化，模型能够发现隐藏的聚类结构，在MNIST、SVHN和USPS数据集上实现了最先进性能。

ABSTRACT

In this paper, we propose a novel unsupervised clustering approach exploiting the hidden information that is indirectly introduced through a pseudo classification objective. Specifically, we randomly assign a pseudo parent-class label to each observation which is then modified by applying the domain specific transformation associated with the assigned label. Generated pseudo observation-label pairs are subsequently used to train a neural network with Auto-clustering Output Layer (ACOL) that introduces multiple softmax nodes for each pseudo parent-class. Due to the unsupervised objective based on Graph-based Activity Regularization (GAR) terms, softmax duplicates of each parent-class are specialized as the hidden information captured through the help of domain specific transformations is propagated during training. Ultimately we obtain a k-means friendly latent representation. Furthermore, we demonstrate how the chosen transformation type impacts performance and helps propagate the latent information that is useful in revealing unknown clusters. Our results show state-of-the-art performance for unsupervised clustering tasks on MNIST, SVHN and USPS datasets, with the highest accuracies reported to date in the literature.

研究动机与目标

• 解决深度神经网络中无显式监督的无监督聚类挑战。
• 利用来自领域特定变换的间接、潜在信息，引导聚类超越简单的特征相似性。
• 开发一种通过伪监督和无监督正则化学习解耦聚类结构的方法。
• 证明变换类型对聚类性能有显著影响，其中基于旋转的变换最为有效。

提出的方法

• 引入一种自聚类输出层（ACOL），为每个伪父类别复制softmax节点，以实现分类与聚类的联合学习。
• 为数据点随机分配伪父类别标签，每个标签与特定的领域特定变换（例如旋转、缩放）相关联。
• 对每个数据点应用指定的变换，以生成用于训练的增强伪标签配对。
• 使用基于图的活动正则化（GAR）促进同一父类别下多个softmax头的专业化，以促进聚类发现。
• 通过重建损失与GAR正则化相结合的方式训练网络，以学习适合k-means的表征。
• 采用t-SNE可视化和聚类准确率评估，分析多种数据集上学习到的表征。

实验结果

研究问题

• RQ1 如何通过领域特定变换的伪监督提升深度神经网络中的无监督聚类？
• RQ2 不同变换类型（例如旋转、缩放、错切）对聚类性能有何影响？
• RQ3 基于图的活动正则化能否有效使多个softmax头专业化，以揭示隐藏的聚类结构？
• RQ4 所提出的方法是否在MNIST、SVHN和USPS等标准基准上实现了最先进聚类准确率？

主要发现

• 在MNIST数据集上，使用全部八种基于旋转的变换，该方法实现了98.32%（±0.08）的聚类准确率，创下新最先进水平。
• 仅使用四种基于旋转的变换（90°和180°旋转），该方法即达到97.80%的准确率，展现出极高效率。
• 即使仅使用单一180°旋转变换，也足以实现最先进性能，凸显了基于旋转的伪监督的有效性。
• 与缩放、错切、平移或像素置换相比，基于旋转的变换在揭示真实数字身份方面显著更有效。
• 通过t-SNE可视化和定量准确率指标确认，该方法在MNIST、SVHN和USPS上均优于现有最先进方法。
• 用于生成伪父类别的变换类型比变换数量更具决定性，其中旋转在数字聚类中表现最优。