[论文解读] Convolutional Clustering for Unsupervised Learning

Ayşegül Dündar, Jonghoon Jin+1 more|arXiv (Cornell University)|Nov 19, 2015

Advanced Neural Network Applications参考文献 22被引用 73

一句话总结

本文提出卷积K-均值聚类，一种无监督深度学习框架，通过强制滤波器多样性并学习卷积神经网络中层间的稀疏、结构化连接，增强K-均值聚类。该方法在无监督滤波器学习技术中达到最先进性能，在STL-10上取得74.1%的测试准确率，在MNIST上仅使用极少标注数据即达到0.5%的错误率。

ABSTRACT

The task of labeling data for training deep neural networks is daunting and tedious, requiring millions of labels to achieve the current state-of-the-art results. Such reliance on large amounts of labeled data can be relaxed by exploiting hierarchical features via unsupervised learning techniques. In this work, we propose to train a deep convolutional network based on an enhanced version of the k-means clustering algorithm, which reduces the number of correlated parameters in the form of similar filters, and thus increases test categorization accuracy. We call our algorithm convolutional k-means clustering. We further show that learning the connection between the layers of a deep convolutional neural network improves its ability to be trained on a smaller amount of labeled data. Our experiments show that the proposed algorithm outperforms other techniques that learn filters unsupervised. Specifically, we obtained a test accuracy of 74.1% on STL-10 and a test error of 0.5% on MNIST.

研究动机与目标

• 通过修改K-均值聚类以适用于卷积滤波器学习，减少无监督深度学习中的滤波器冗余。
• 通过学习层间稀疏、结构化的连接，提升无监督特征学习的泛化能力与可扩展性。
• 通过结合无监督预训练与有监督连接学习，实现在极少标注数据下对深层网络的有效训练。
• 通过仅在字典学习阶段应用数据白化，而非编码阶段，消除编码中对数据白化的依赖，简化预处理流程。

提出的方法

• 提出一种改进的K-均值算法，在滤波器初始化阶段通过强制空间多样性，防止学习冗余的平移滤波器副本。
• 在分层、多层网络架构中应用卷积滤波器学习，从原始输入中提取分层特征。
• 在层间引入稀疏连接矩阵，仅选择特定特征组连接至下一层，减少参数冗余。
• 通过拼接来自多个层的表示，采用多字典方法，形成更丰富、更具判别性的特征向量。
• 使用ReLU激活函数与最大池化操作，降低维度并提升最终分类器中的特征层次。
• 使用两层网络训练最终分类器，并应用dropout（速率为0.5），以防止过拟合，尤其在标签数据稀少的情况下。

实验结果

研究问题

• RQ1 K-均值聚类能否被调整以在深层网络中学习非冗余、可卷积应用的滤波器？
• RQ2 在无监督深度学习中，学习层间结构化、稀疏连接是否能提升性能？
• RQ3 所提出的方法能否在极少标注数据下实现具有竞争力的准确率，超越现有无监督滤波器学习技术？
• RQ4 在编码阶段消除数据白化是否会导致性能下降，还是可以安全省略？

主要发现

• 所提出的卷积K-均值聚类方法在STL-10数据集上达到74.1%的测试准确率，优于先前的无监督方法。
• 在MNIST数据集上，当使用全部标注数据时，该方法的测试错误率仅为0.5%，显著低于其他无监督方法。
• 仅使用600个标注样本时，该方法在MNIST上实现2.8%的分类错误率，优于所有列出的其他无监督算法。
• 两层多字典网络在STL-10上达到71.4%的准确率，证明了其在参数量比先前工作小一个数量级的情况下仍具有高性能。
• 该方法消除了编码阶段对数据白化的依赖，简化了流程，同时保持高性能。
• 层间稀疏、结构化连接的整合显著提升了特征表示学习效果，尤其在低监督设置下。