[论文解读] Heterogeneous Unsupervised Cross-domain Transfer Learning.

Feng Liu, Guangquan Zhang+2 more|arXiv (Cornell University)|Jan 10, 2017

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

本文提出了两种新颖的异质无监督跨域迁移学习模型 RLG 和 GLG，通过利用格拉斯曼流形来度量异质域之间的距离，并采用线性单调映射将特征投影到共享潜在空间，从而克服了同质特征空间和目标域标签数据的限制。这些模型在多种跨域任务中实现了最先进性能，展示了无需目标域标签实例即可实现可靠的知识迁移。

ABSTRACT

Transfer learning addresses the problem of how to leverage previously acquired knowledge (a source domain) to improve the efficiency of learning in a new domain (the target domain). Although transfer learning has been widely researched in the last decade, existing research still has two restrictions: 1) the feature spaces of the domains must be homogeneous; and 2) the target domain must have at least a few labeled instances. These restrictions significantly limit transfer learning models when transferring knowledge across domains, especially in the big data era. To completely break through both of these bottlenecks, a theorem for reliable unsupervised knowledge transfer is proposed to avoid negative transfers, and a Grassmann manifold is applied to measure the distance between heterogeneous feature spaces. Based on this theorem and the Grassmann manifold, this study proposes two heterogeneous unsupervised knowledge transfer (HeUKT) models - known as RLG and GLG. The RLG uses a linear monotonic map (LMM) to reliably project two heterogeneous feature spaces onto a latent feature space and applies geodesic flow kernel (GFK) model to transfers knowledge between two the projected domains. The GLG optimizes the LMM to achieve the highest possible accuracy and guarantees that the geometric properties of the domains remain unchanged during the transfer process. To test the overall effectiveness of two models, this paper reorganizes five public datasets into ten heterogeneous cross-domain tasks across three application fields: credit assessment, text classification, and cancer detection. Extensive experiments demonstrate that the proposed models deliver superior performance over current benchmarks, and that these HeUKT models are a promising way to give computers the associative ability to judge unknown things using related known knowledge.

研究动机与目标

• 解决现有迁移学习中的两大主要局限：对同质特征空间的需求以及目标域中标签实例的可用性。
• 为可靠的无监督知识迁移建立理论基础，防止在异质域之间发生负迁移。
• 在真实世界场景中实现有效的知识迁移，其中目标数据无标签且特征空间存在显著差异。
• 在信用评估、文本分类和癌症检测等不同领域中，于异质跨域设置下评估所提出的模型。

提出的方法

• 提出一个定理以确保可靠的无监督知识迁移，防止迁移知识降低目标域性能。
• 采用格拉斯曼流形来度量异质特征空间之间的距离，实现不同域之间的几何比较。
• 提出 RLG 模型，利用线性单调映射（LMM）将异质源域和目标域投影到共享潜在空间，并随后应用测地流核（GFK）实现知识迁移。
• 开发 GLG 模型，通过优化 LMM 以最大化迁移准确率，同时保持两个域的内在几何结构。
• 利用格拉斯曼流形的特性，在投影和迁移过程中保持域之间一致且有意义的相似性度量。
• 将模型应用于从五个公开数据集衍生出的十个异质跨域任务，涵盖三个应用领域。

实验结果

研究问题

• RQ1 是否可以在不依赖目标数据标签的情况下，实现跨异质特征空间的可靠无监督知识迁移？
• RQ2 如何在知识迁移过程中有效度量并保持异质域之间的几何关系？
• RQ3 所提出的 RLG 和 GLG 模型在异质跨域设置下相较于现有迁移学习基准的性能提升程度如何？
• RQ4 这些模型是否能在信用评估、文本分类和癌症检测等多样化真实应用场景中保持性能？
• RQ5 与标准欧几里得或基于核的方法相比，使用格拉斯曼流形是否能提升迁移的可靠性和准确性？

主要发现

• 所提出的 HeUKT 模型 RLG 和 GLG 在全部十个异质跨域任务中均优于当前最先进基准方法，表现更优。
• 这些模型成功实现了无需目标域任何标签实例的知识迁移，满足了无监督学习的要求。
• 基于格拉斯曼流形的距离度量有效捕捉了异质特征空间之间的有意义关系，支持可靠的迁移。
• RLG 中的线性单调映射（LMM）确保了向潜在空间的稳定且单调的投影，降低了负迁移的风险。
• GLG 模型在迁移过程中保持了两个域的几何特性，从而提升了准确率和鲁棒性。
• 在信用评估、文本分类和癌症检测中的大量实验表明，与现有方法相比，性能实现了持续且显著的提升。