[论文解读] Learning to cluster in order to transfer across domains and tasks

Yen-Chang Hsu, Zhaoyang Lv+1 more|arXiv (Cornell University)|Nov 28, 2017

Domain Adaptation and Few-Shot Learning参考文献 25被引用 92

一句话总结

该论文学习一个可迁移的成对相似性函数和一个聚类网络，以在无监督跨任务和跨域传输中无需目标标签，达到最先进的聚类和域适应结果。

ABSTRACT

This paper introduces a novel method to perform transfer learning across domains and tasks, formulating it as a problem of learning to cluster. The key insight is that, in addition to features, we can transfer similarity information and this is sufficient to learn a similarity function and clustering network to perform both domain adaptation and cross-task transfer learning. We begin by reducing categorical information to pairwise constraints, which only considers whether two instances belong to the same class or not. This similarity is category-agnostic and can be learned from data in the source domain using a similarity network. We then present two novel approaches for performing transfer learning using this similarity function. First, for unsupervised domain adaptation, we design a new loss function to regularize classification with a constrained clustering loss, hence learning a clustering network with the transferred similarity metric generating the training inputs. Second, for cross-task learning (i.e., unsupervised clustering with unseen categories), we propose a framework to reconstruct and estimate the number of semantic clusters, again using the clustering network. Since the similarity network is noisy, the key is to use a robust clustering algorithm, and we show that our formulation is more robust than the alternative constrained and unconstrained clustering approaches. Using this method, we first show state of the art results for the challenging cross-task problem, applied on Omniglot and ImageNet. Our results show that we can reconstruct semantic clusters with high accuracy. We then evaluate the performance of cross-domain transfer using images from the Office-31 and SVHN-MNIST tasks and present top accuracy on both datasets. Our approach doesn't explicitly deal with domain discrepancy. If we combine with a domain adaptation loss, it shows further improvement.

研究动机与目标

• 通过将成对语义相似性迁移来超越仅依赖特征的迁移学习。
• 提出一个可学习的聚类目标，使用预测的相似性作为可迁移的约束。
• 开发一个相似性预测网络和一个受约束的聚类网络，以实现跨任务和跨域传输。
• 通过跨任务迁移在Omniglot和ImageNet上 demonstrating state-of-the-art clustering
• 在所提出的框架下，在Office-31和SVHN–MNIST上展示强大的域自适应提升。

提出的方法

• 提出一个基于学习聚类（LCO）的迁移学习框架，转移成对相似性信息。
• 从辅助带标签数据集A学习一个相似性预测函数G，以预测成对样本是否属于同一类别。
• 将受约束的聚类目标（LCO）形式化为通过KL散度作用于成对相似/不相似样本的聚类分布。
• 通过在小批量内枚举成对组合，构造密集的成对聚类损失（CCN）。
• 将CCN扩展到跨域传输：结合源数据的监督分类损失与LCO，产生CCN+，在整合域自适应信号时产生CCN++。
• 可选地与现有的域差异损失（如DANN）结合，以进一步提升性能。
• 通过使用ResNet骨干并与标准聚类基线比较，演示对ImageNet规模任务的可扩展性。

实验结果

研究问题

• RQ1 可迁移的成对相似性（而非原始特征或标签）在无监督设置下是否能够同时支持跨任务和跨域传输？
• RQ2 直接用于聚类目标时，预测的相似性约束有多鲁棒？
• RQ3 在学习相似性的同时联合优化特征表示和聚类，是否比传统的受约束聚类或纯特征迁移有更优结果？
• RQ4 在标准基准（Office-31、SVHN–MNIST）和大规模数据集（ImageNet）上，将LCO与域自适应损失结合时的性能提升如何？

主要发现

• 在Omniglot的跨任务传输中，CCN达到顶级ACC/NMI结果，包括当K已知时的82.4% ACC和0.889 NMI，以及在K未知（K=100）时的78.1% ACC和0.874 NMI。
• 在ImageNet评估时，CCN优于K-means、LSC和LPNMF，且在已知K时达到73.8% ACC、在未知K时达到65.2%。
• 在Office-31的无监督跨域传输中，CCN+达到77.5%的平均准确率，超过DANN（75.7%）和JAN（76.9%），在CCN++中进一步提升至78.5%。
• 在SVHN→MNIST（以Omniglot作为辅助数据）上，CCN+达到新的最佳性能89.1%。
• 消融结果表明，联动最小化聚类损失与学习到的相似性（CCN）对噪声相似性预测具有鲁棒性，并且优于仅使用相似性进行度量学习的方法。
• 在相似性预测不完美（相似对的精确度约0.39，召回率约0.93）时，使用密集成对相似性信息也能提升聚类鲁棒性和迁移性能。