[论文解读] Learning with Augmented Features for Heterogeneous Domain Adaptation

Lixin Duan, Dong Xu+1 more|arXiv (Cornell University)|Jun 18, 2012

Domain Adaptation and Few-Shot Learning参考文献 23被引用 223

一句话总结

本文提出了一种新型异质域适应方法——异质特征增强（Heterogeneous Feature Augmentation, HFA），通过学习两个投影矩阵，将源域和目标域数据映射到一个共享子空间，随后将变换后的特征与原始特征及零向量进行增强。该方法通过交替优化算法，有效整合增强表示，使SVM和SVR模型得以充分发挥性能，在基准数据集上实现了最先进水平的结果。

ABSTRACT

We propose a new learning method for heterogeneous domain adaptation (HDA), in which the data from the source domain and the target domain are represented by heterogeneous features with different dimensions. Using two different projection matrices, we first transform the data from two domains into a common subspace in order to measure the similarity between the data from two domains. We then propose two new feature mapping functions to augment the transformed data with their original features and zeros. The existing learning methods (e.g., SVM and SVR) can be readily incorporated with our newly proposed augmented feature representations to effectively utilize the data from both domains for HDA. Using the hinge loss function in SVM as an example, we introduce the detailed objective function in our method called Heterogeneous Feature Augmentation (HFA) for a linear case and also describe its kernelization in order to efficiently cope with the data with very high dimensions. Moreover, we also develop an alternating optimization algorithm to effectively solve the nontrivial optimization problem in our HFA method. Comprehensive experiments on two benchmark datasets clearly demonstrate that HFA outperforms the existing HDA methods.

研究动机与目标

• 解决当源域和目标域具有不同维度的异质特征空间时的域偏移问题。
• 构建一个统一框架，实现此类异质域之间的有效知识迁移。
• 通过引入增强的特征表示，提升SVM和SVR等传统学习模型在HDA中的性能。
• 通过核化HFA目标函数，提供一种适用于高维数据的可扩展解决方案。

提出的方法

• 学习两个与域相关的投影矩阵，将源域和目标域数据映射到共享的低维子空间。
• 通过将投影特征与原始特征及零向量结合，构建增强的特征表示，以保留结构信息和判别性信息。
• 采用合页损失构建HFA目标函数，使其可与SVM和SVR结合，支持线性和非线性学习。
• 推导出HFA的核化版本，利用核技巧高效处理高维数据。
• 设计一种交替优化算法，联合学习投影矩阵和模型参数。
• 确保在共享子空间中最小化域差异的同时，保持类间可分性。

实验结果

研究问题

• RQ1 如何在源域和目标域具有不同维度的异质特征空间中，有效对齐其特征？
• RQ2 增强的特征表示能否提升SVM等标准分类器在异质域适应中的性能？
• RQ3 何种优化策略可实现HFA中投影矩阵与模型参数的有效联合学习？
• RQ4 核化HFA方法在保持性能的前提下，如何实现对高维数据的可扩展性？
• RQ5 HFA是否在标准基准数据集上优于现有HDA方法？

主要发现

• HFA在两个异质域适应基准数据集上实现了最先进性能。
• 与现有HDA方法相比，该方法显著提升了分类准确率，有效利用了源域和目标域数据。
• 使用包含原始特征和零分量的增强特征，显著增强了模型的泛化能力和判别性能。
• 交替优化算法收敛稳定且高效，具备实际部署潜力。
• 核化HFA在高维数据上保持了优异性能，展现出良好的可扩展性。
• 实验结果证实，通过投影对齐结合特征增强，可带来显著的性能提升。