[论文解读] Unsupervised visualization of image datasets using contrastive learning

Jan Niklas Böhm, Philipp Berens+1 more|arXiv (Cornell University)|Oct 18, 2022

Data Visualization and Analytics被引用 6

一句话总结

本文提出 t-SimCNE，一种基于对比学习的方法，通过无监督训练参数化的二维嵌入网络，实现对图像数据集的可视化。通过结合 SimCLR 风格的对比预训练与 t-SNE 风格的邻域建模，t-SimCNE 在 CIFAR-10 上实现 89% 的 k-NN 分类准确率，在 CIFAR-100 上实现 51% 的准确率，达到当前最先进水平，同时支持样本外推理，生成语义合理、可解释的图像聚类、伪影和异常值可视化结果。

ABSTRACT

Visualization methods based on the nearest neighbor graph, such as t-SNE or UMAP, are widely used for visualizing high-dimensional data. Yet, these approaches only produce meaningful results if the nearest neighbors themselves are meaningful. For images represented in pixel space this is not the case, as distances in pixel space are often not capturing our sense of similarity and therefore neighbors are not semantically close. This problem can be circumvented by self-supervised approaches based on contrastive learning, such as SimCLR, relying on data augmentation to generate implicit neighbors, but these methods do not produce two-dimensional embeddings suitable for visualization. Here, we present a new method, called t-SimCNE, for unsupervised visualization of image data. T-SimCNE combines ideas from contrastive learning and neighbor embeddings, and trains a parametric mapping from the high-dimensional pixel space into two dimensions. We show that the resulting 2D embeddings achieve classification accuracy comparable to the state-of-the-art high-dimensional SimCLR representations, thus faithfully capturing semantic relationships. Using t-SimCNE, we obtain informative visualizations of the CIFAR-10 and CIFAR-100 datasets, showing rich cluster structure and highlighting artifacts and outliers.

研究动机与目标

• 为解决传统邻域嵌入方法（如 t-SNE 和 UMAP）直接应用于像素空间时失效的问题，因为在该空间中欧氏距离无法反映语义相似性。
• 开发一种参数化、无监督的二维嵌入方法，无需标签即可保留图像数据中的语义关系。
• 通过学习从像素空间到二维空间的可微映射，实现样本外推理，克服非参数化可视化方法的局限性。
• 将对比学习（语义表示学习）与 t-SNE（二维邻域保持）的优势整合到一个端到端可训练的统一框架中。

提出的方法

• 该方法使用 ResNet 主干网络搭配二维投影头，将输入图像映射到二维嵌入空间。
• 通过标准数据增强（如随机裁剪和颜色抖动）生成同一图像的正样本对。
• 采用 InfoNCE 目标函数优化对比损失，最大化增强视图在二维嵌入空间中的相似性。
• 使用柯西（t-分布）核建模二维相似性，模仿 t-SNE 方法以保持局部邻域结构。
• 采用三阶段训练策略：使用 128D 投影头预训练 1000 个周期，仅微调二维读出头 50 个周期，最后端到端微调 450 个周期。
• 最终模型为参数化模型，可通过直接应用学习到的映射对新样本外图像进行推理。

实验结果

研究问题

• RQ1 能否将对比学习框架适配为在不使用标签的情况下生成高质量、可解释的图像数据集二维可视化？
• RQ2 通过对比学习训练的二维参数化嵌入是否能像高维 SimCLR 表示那样有效保留语义结构？
• RQ3 与将 t-SNE 应用于 SimCLR 特征的非参数化方法相比，t-SimCNE 在聚类分离度和异常值检测方面表现如何？
• RQ4 该方法能否有效揭示 CIFAR-10 和 CIFAR-100 等数据集中细粒度结构（如子类、伪影和异常值）？

主要发现

• t-SimCNE 在 CIFAR-10 上实现 89% 的 k-NN 分类准确率，在 CIFAR-100 上实现 51% 的准确率，与高维 SimCLR 表示性能相当。
• 可视化结果揭示了丰富的聚类结构，能清晰分离各类别，并突出显示异常值和伪影，这些特征常被像素空间 t-SNE 所忽略。
• 与将 t-SNE 应用于 SimCLR 特征相比，t-SimCNE 生成的可视化更具可解释性，类边界更清晰，结构细节更明显。
• 该方法支持样本外推理，这是相对于非参数化可视化技术的关键优势，可将新图像嵌入到现有二维空间中。
• 尽管二维输出在高维特征空间（H）中的表示质量略低于标准 SimCLR，但这一权衡在可视化实用性方面是合理的。
• 与使用 t-SNE 可视化预训练 ImageNet 的 ResNet 特征相比，该方法在基于聚类的调整兰德指数上表现更优，表明其具备更强的类别分离能力。