[论文解读] A probabilistic constrained clustering for transfer learning and image category discovery

Yen-Chang Hsu, Zhaoyang Lv+3 more|arXiv (Cornell University)|Jun 28, 2018

Domain Adaptation and Few-Shot Learning参考文献 16被引用 3

一句话总结

本文提出了一种新颖的概率约束聚类（CCL）目标函数，该函数直接最小化在成对相似性和不相似性约束下聚类分配的负对数似然，从而实现深度特征表示与聚类分配的端到端联合优化。CCL在深度网络和更大聚类数量下展现出卓越的可扩展性和性能，相较于以往方法表现更优，在迁移学习和图像类别发现任务中实现了最先进结果，且无需超参数，并对噪声约束具有更强的鲁棒性。

ABSTRACT

Neural network-based clustering has recently gained popularity, and in particular a constrained clustering formulation has been proposed to perform transfer learning and image category discovery using deep learning. The core idea is to formulate a clustering objective with pairwise constraints that can be used to train a deep clustering network; therefore the cluster assignments and their underlying feature representations are jointly optimized end-to-end. In this work, we provide a novel clustering formulation to address scalability issues of previous work in terms of optimizing deeper networks and larger amounts of categories. The proposed objective directly minimizes the negative log-likelihood of cluster assignment with respect to the pairwise constraints, has no hyper-parameters, and demonstrates improved scalability and performance on both supervised learning and unsupervised transfer learning.

研究动机与目标

• 解决现有约束聚类方法在应用于更深神经网络和更多聚类数量时的可扩展性限制。
• 开发一种聚类目标函数，通过成对约束实现端到端联合优化特征表示与聚类分配。
• 通过基于似然的公式替代对比损失，提升无监督图像类别发现和迁移学习中的性能。
• 通过采用基于概率似然的合理目标函数，而非基于KL散度的损失，消除对超参数的依赖。
• 在包含噪声、自动生成的约束的真实世界设置中评估鲁棒性。

提出的方法

• 通过神经网络输出关于k个聚类的分类分布（使用softmax）来定义聚类分配的概率。
• 将两个样本被分配到同一聚类的概率定义为它们预测聚类分布的点积：P(y_i = y_j) = f_θ(x_i)^T f_θ(x_j)。
• 将成对约束建模为相似（必须连接）或不相似（不能连接）的对，其中相似对使用P(y_i = y_j)，不相似对使用P(y_i ≠ y_j) = 1 - P(y_i = y_j)。
• 构建似然目标函数L(θ|S⁺,S⁻)，即所有相似对和不相似对概率的乘积，通过训练过程中的负对数似然进行最小化。
• 使用随机梯度下降优化网络参数θ，最终聚类分配通过将数据通过训练好的网络进行前向传播获得。
• 采用联合优化框架，仅使用成对约束作为监督信号，实现特征学习与聚类的端到端联合训练。

实验结果

研究问题

• RQ1 基于似然的聚类目标函数在深层网络上的可扩展性是否优于基于KL散度的方法？
• RQ2 当聚类数量超过10时，该方法在无监督类别发现任务中的表现如何，特别是在聚类数较多时？
• RQ3 在真实世界中存在噪声的约束设置下，无需超参数是否能提升鲁棒性和性能？
• RQ4 该方法是否能在使用自动生成约束的条件下，实现图像类别发现迁移学习中的最先进性能？
• RQ5 该方法在包含100个或更多类别的大规模数据集（如ImageNet）上是否具备良好的可扩展性？

主要发现

• 在CIFAR-100上使用VGG8时，CCL达到64.0%的聚类准确率，显著优于KCL的44.3%（相同设置下）。
• 在ImageNet的ResNet-18特征上，CCL在30个保留类别上达到74.4%的聚类准确率，超过CCN-KCL的73.8%。
• 在未知聚类数设置（k=100）下，CCL在ImageNet上达到71.5%的准确率，远超KCL的65.2%。
• 在Omniglot数据集上，CCL在使用真实聚类数时准确率达83.3%，在k=100时为80.2%，优于CCN-KCL的82.4%和78.1%。
• 即使在极深网络（如PReActResNet-101）上，CCL仍保持高性能，CIFAR-10上准确率达93.3%，而KCL仅为21.9%。
• 在标准化互信息（NMI）方面，CCL表现出一致的优越性，Omniglot上达到0.897 NMI（KCL为0.889），表明聚类质量更优。