[论文解读] Clustering-Oriented Representation Learning with Attractive-Repulsive Loss

Kian Kenyon-Dean, Andre Cianflone+4 more|arXiv (Cornell University)|Dec 18, 2018

Domain Adaptation and Few-Shot Learning参考文献 25被引用 7

一句话总结

本文提出了一种新型损失框架——聚类导向表示学习（COREL），通过使用余弦或高斯相似度函数的吸引-排斥损失，优化神经网络在潜在空间中的自然聚类能力。COREL 的不同变体在分类准确率上优于分类交叉熵（CCE），尤其在高斯-COREL 中表现更优，且始终能生成比 CCE 更具自然聚类特性的表示，尤其在余弦-COREL 中表现显著。

ABSTRACT

The standard loss function used to train neural network classifiers, categorical cross-entropy (CCE), seeks to maximize accuracy on the training data; building useful representations is not a necessary byproduct of this objective. In this work, we propose clustering-oriented representation learning (COREL) as an alternative to CCE in the context of a generalized attractive-repulsive loss framework. COREL has the consequence of building latent representations that collectively exhibit the quality of natural clustering within the latent space of the final hidden layer, according to a predefined similarity function. Despite being simple to implement, COREL variants outperform or perform equivalently to CCE in a variety of scenarios, including image and news article classification using both feed-forward and convolutional neural networks. Analysis of the latent spaces created with different similarity functions facilitates insights on the different use cases COREL variants can satisfy, where the Cosine-COREL variant makes a consistently clusterable latent space, while Gaussian-COREL consistently obtains better classification accuracy than CCE.

研究动机与目标

• 将神经网络训练从单纯的准确率优化，转向构建在潜在空间中具有自然聚类特性的表示。
• 解决 CCE 在最终隐藏层生成结构有意义、类簇状表示方面的局限性。
• 提出一种可泛化的损失框架——吸引-排斥（AR）损失，支持多种相似度函数，用于聚类导向的学习。
• 评估 COREL 变体在图像和文本分类任务中是否同时提升聚类能力和分类性能。
• 证明 COREL 表示可使简单聚类算法实现高准确率，从而减少对最终分类头的依赖。

提出的方法

• 提出吸引-排斥（AR）损失作为通用框架，损失由基于相似度函数 s(h, w_k) 的吸引项和排斥项组成。
• 将 AR 损失定义为加权和形式：L_AR = Σ[-λ·L_attract(h, w_y) + (1−λ)·L_repulse(h, W)]，对 N 个样本求和。
• 提出两种 COREL 变体：余弦-COREL 使用余弦相似度，高斯-COREL 使用负平方欧氏距离作为相似度函数。
• 在高斯-COREL 中使用 softmax 操作将相似度得分映射为类别概率，而余弦-COREL 通过直接优化基于余弦的吸引项避免使用 softmax。
• 在最终层表示上应用标准聚类算法（如 k-means）以评估自然聚类能力，且不使用分类头。
• 在图像和文本数据集上使用前馈网络和卷积网络训练模型，将 COREL 变体与 CCE 和中心损失进行比较。

实验结果

研究问题

• RQ1 能否设计一种损失函数，显式促进深度神经网络潜在空间中的自然聚类能力？
• RQ2 不同的相似度函数（余弦与高斯）如何影响学习表示的聚类能力和分类准确率？
• RQ3 COREL 是否能生成比标准 CCE 和中心损失更具聚类能力且更准确的表示？
• RQ4 当应用于 COREL 学习的表示时，简单聚类算法是否能实现高测试准确率，从而绕过最终分类头？
• RQ5 在聚类能力（如余弦-COREL）与分类准确率（如高斯-COREL）之间，存在怎样的权衡关系？

主要发现

• 在所有评估的图像和文本分类任务中，高斯-COREL 的测试准确率始终高于 CCE 和中心损失。
• 余弦-COREL 生成的潜在表示在自然聚类能力上始终优于 CCE，该结论通过 k-means 聚类性能得到验证。
• 在余弦-COREL 模型的最终隐藏层表示上应用 k-means，其测试准确率可与使用完整分类头时相媲美。
• 余弦-COREL 的潜在空间显示出清晰、分明的聚类，且这些聚类与类别标签一一对应，即使在无显式聚类监督的情况下亦成立。
• 高斯-COREL 使用负平方欧氏距离结合 softmax，生成的特征更具判别性，尤其在复杂数据集上优于 CCE。
• COREL 变体仅需在损失函数上进行修改，无需架构调整，因此易于实现且在多种模型架构中均表现高效。