[论文解读] Domain Adaptation by Mixture of Alignments of Second- or Higher-Order Scatter Tensors

Piotr Koniusz, Yusuf Tas+1 more|arXiv (Cornell University)|Nov 24, 2016

Domain Adaptation and Few-Shot Learning参考文献 31被引用 6

一句话总结

本文提出了一种新型的领域自适应方法——二阶或更高阶知识迁移（So-HoT），通过可学习损失函数对齐源域和目标域特征的二阶或更高阶散度张量，以提升少样本分类性能。该方法在Office、RGB-D以及图像到草图基准上实现了最先进性能，通过端到端卷积神经网络框架联合优化类内散度对齐与类间分离。

ABSTRACT

In this paper, we propose an approach to the domain adaptation, dubbed Second- or Higher-order Transfer of Knowledge (So-HoT), based on the mixture of alignments of second- or higher-order scatter statistics between the source and target domains. The human ability to learn from few labeled samples is a recurring motivation in the literature for domain adaptation. Towards this end, we investigate the supervised target scenario for which few labeled target training samples per category exist. Specifically, we utilize two CNN streams: the source and target networks fused at the classifier level. Features from the fully connected layers fc7 of each network are used to compute second- or even higher-order scatter tensors; one per network stream per class. As the source and target distributions are somewhat different despite being related, we align the scatters of the two network streams of the same class (within-class scatters) to a desired degree with our bespoke loss while maintaining good separation of the between-class scatters. We train the entire network in end-to-end fashion. We provide evaluations on the standard Office benchmark (visual domains), RGB-D combined with Caltech256 (depth-to-rgb transfer) and Pascal VOC2007 combined with the TU Berlin dataset (image-to-sketch transfer). We attain state-of-the-art results.

研究动机与目标

• 解决在标注目标数据稀缺的少样本学习场景中出现的领域偏移问题。
• 超越简单的特征对齐，建模源域与目标域之间的共性。
• 通过类内散度统计对齐提升分类准确率，同时保持类间可分性。
• 通过新型可微损失函数实现CNN端到端训练，用于张量对齐。
• 探索基于类别的对齐权重与核化变体，以提升计算效率。

提出的方法

• 该方法从两个CNN分支的fc7特征中计算二阶或更高阶散度张量：一个用于源域，一个用于目标域。
• 提出一种新型损失函数，用于对齐源域与目标域中相同类别的类内散度（均值与协方差）。
• 该损失函数可微，支持整个网络的端到端训练，包括受源域统计信息正则化的目标网络参数。
• 提出对齐损失的无权重与加权两种变体，后者为每个类别学习独立的对齐强度。
• 引入损失的核化版本，以加速大规模领域自适应数据集上的计算。
• 该方法基于特权学习，利用源域统计信息指导目标网络的特征学习。

实验结果

研究问题

• RQ1 如何有效利用二阶或更高阶散度统计量来建模迁移学习中的领域共性？
• RQ2 在不同领域间联合对齐均值与协方差是否能提升少样本分类性能？
• RQ3 允许类别特定的对齐权重是否能带来优于统一权重对齐的适应效果？
• RQ4 损失的核化变体是否能显著降低训练时间而不损失准确率？
• RQ5 So-HoT在多样化领域自适应基准上与最先进方法相比表现如何？

主要发现

• So-HoT在标准Office基准上实现了最先进性能，优于先前方法在跨域分类中的表现。
• 在结合Caltech256的RGB-D数据集上，该方法表现出色，证明了其在深度图像到RGB图像领域自适应中的有效性。
• 在Pascal VOC2007到TU Berlin的图像到草图迁移任务中，So-HoT在对比方法中取得了最高准确率。
• 对齐损失的加权变体在所有实验中均持续优于无权重版本，表明类别特定的对齐强度具有优势。
• 损失的核化变体在保持竞争性准确率的同时显著降低了计算成本，使大规模数据集上的训练更加高效。
• 采用So-HoT损失进行端到端训练可提升泛化能力，使目标网络学习到与源域一致的特征统计特性。