[论文解读] Deep Density-based Image Clustering

Yazhou Ren, Ni Wang+2 more|arXiv (Cornell University)|Dec 11, 2018

Image Retrieval and Classification Techniques参考文献 38被引用 9

一句话总结

本文提出深度密度聚类（DDC），一种两阶段框架，首先使用深度卷积自编码器（CAE）学习低维特征，随后通过t-SNE进行二维可视化，并采用一种新颖的基于密度的聚类方法，自动检测任意形状的聚类，而无需预先指定聚类数量。即使在聚类数量未知的情况下，DDC在图像聚类基准测试中仍达到最先进性能。

ABSTRACT

Recently, deep clustering, which is able to perform feature learning that favors clustering tasks via deep neural networks, has achieved remarkable performance in image clustering applications. However, the existing deep clustering algorithms generally need the number of clusters in advance, which is usually unknown in real-world tasks. In addition, the initial cluster centers in the learned feature space are generated by $k$-means. This only works well on spherical clusters and probably leads to unstable clustering results. In this paper, we propose a two-stage deep density-based image clustering (DDC) framework to address these issues. The first stage is to train a deep convolutional autoencoder (CAE) to extract low-dimensional feature representations from high-dimensional image data, and then apply t-SNE to further reduce the data to a 2-dimensional space favoring density-based clustering algorithms. The second stage is to apply the developed density-based clustering technique on the 2-dimensional embedded data to automatically recognize an appropriate number of clusters with arbitrary shapes. Concretely, a number of local clusters are generated to capture the local structures of clusters, and then are merged via their density relationship to form the final clustering result. Experiments demonstrate that the proposed DDC achieves comparable or even better clustering performance than state-of-the-art deep clustering methods, even though the number of clusters is not given.

研究动机与目标

• 解决现有深度聚类方法需预先指定聚类数量的局限性。
• 克服基于k-means的聚类在深度特征空间中不稳定且对形状敏感的问题。
• 开发一种基于密度的聚类方法，以捕捉局部聚类结构和点的重要性，提升聚类鲁棒性。
• 实现在聚类数量未知的情况下，自动发现图像数据中任意形状的聚类。
• 通过在低维空间中利用基于密度的聚类，减少对自编码器迭代优化的依赖。

提出的方法

• 训练一个深度卷积自编码器（CAE），从高维图像数据中提取10维的低维特征表示。
• 应用t-SNE将CAE学习到的特征进一步降维至二维空间，以保留成对相似性并增强基于密度的聚类效果。
• 开发一种新颖的基于密度的聚类技术，通过局部密度识别局部聚类，并利用密度关系进行聚类合并。
• 为每个数据点分配一个密度得分（ρ）和一个可达距离（δ），以指导聚类的形成与合并。
• 在高密度区域周围生成局部聚类，并根据密度连通性进行合并，从而实现对不规则形状聚类的检测。
• 边界点被识别为密度和可达性处于中间水平的点，从而提升聚类边界的检测能力。

实验结果

研究问题

• RQ1 深度聚类框架能否在无需预先指定聚类数量的情况下自动确定聚类数？
• RQ2 在二维嵌入空间中基于密度的聚类方法是否能在聚类性能和稳定性上优于基于k-means的方法？
• RQ3 结合CAE和t-SNE是否能提升图像数据中基于密度聚类的特征表示质量？
• RQ4 在使用基于密度的聚类时，是否仍需对自编码器进行迭代优化，还是直接对嵌入特征进行聚类已足够？
• RQ5 所提出方法对超参数设置（如密度估计中的比例参数）的鲁棒性如何？

主要发现

• DDC在未预先知晓聚类数量的情况下，仍能达到与最先进深度聚类方法相当或更优的聚类性能。
• 在MNIST-test和USPS数据集上，DDC在比例参数的广泛范围内均保持高准确率（ACC）和标准化互信息（NMI），最优性能出现在0.1处。
• DDC-DA在MNIST-test上耗时737秒，在USPS上耗时583秒，与ConvDEC-DA相比展现出具有竞争力的效率。
• 可视化结果表明，DDC能成功识别复杂且非球形的聚类，并在聚类良好分离和重叠区域均有效检测边界点。
• 该方法对参数设置具有鲁棒性，在测试的比例范围[0.05, 0.16]内表现稳定，支持将0.1作为默认值。
• 实验表明，直接对原始数据应用t-SNE得到的聚类结果劣于对CAE学习到的特征应用t-SNE，证实了在降维前进行表示学习的优势。