[论文解读] Heterogeneous Transfer Learning: An Unsupervised Approach

Feng Liu, Guanquan Zhang+1 more|arXiv (Cornell University)|Jan 10, 2017

Domain Adaptation and Few-Shot Learning参考文献 66被引用 5

一句话总结

本文提出了一种无监督异质迁移学习框架，通过一种新颖的无监督知识迁移定理和基于主角的度量方法，防止负迁移。Grassmann-LMM-geodesic flow kernel (GLG) 模型通过线性单调映射学习同质表示，从而在保证条件下实现从源域到无标签目标域的正确知识迁移。

ABSTRACT

Transfer learning leverages the knowledge in one domain, the source domain, to improve learning efficiency in another domain, the target domain. Existing transfer learning research is relatively well-progressed, but only in situations where the feature spaces of the domains are homogeneous and the target domain contains at least a few labeled instances. However, transfer learning has not been well-studied in heterogeneous settings with an unlabeled target domain. To contribute to the research in this emerging field, this paper presents: (1) an unsupervised knowledge transfer theorem that prevents negative transfer; and (2) a principal angle-based metric to measure the distance between two pairs of domains. The metric shows the extent to which homogeneous representations have preserved the information in original source and target domains. The unsupervised knowledge transfer theorem sets out the transfer conditions necessary to prevent negative transfer. Linear monotonic maps meet the transfer conditions of the theorem and, hence, are used to construct homogeneous representations of the heterogeneous domains, which in principle prevents negative transfer. The metric and the theorem have been implemented in an innovative transfer model, called a Grassmann-LMM-geodesic flow kernel (GLG), that is specifically designed for knowledge transfer across heterogeneous domains. The GLG model learns homogeneous representations of heterogeneous domains by minimizing the proposed metric. Knowledge is transferred through these learned representations via a geodesic flow kernel. Notably, the theorem presented in this paper provides the sufficient transfer conditions needed to guarantee that knowledge is transferred from a source domain to an unlabeled target domain with correctness.

研究动机与目标

• 解决在无标签目标数据下异质领域迁移学习的空白。
• 建立充分条件，以保证在无目标实例标签的情况下实现正确知识迁移。
• 开发一种度量方法，用于量化领域相似性，同时保留原始特征信息。
• 设计一种模型，能够从异质源域和目标域中学习同质表示。
• 通过基于学习表示的测地流核，确保迁移能力的保持。

提出的方法

• 提出一种无监督知识迁移定理，定义了防止负迁移的充分条件。
• 引入基于主角的度量方法，用于测量源域和目标域表示之间的距离。
• 使用线性单调映射将异质领域转换为满足迁移定理的同质表示。
• 采用 Grassmann-LMM-geodesic flow kernel (GLG) 模型，通过最小化所提出的度量来学习这些同质表示。
• 通过学习到的表示，应用测地流核将知识从源域迁移至无标签目标域。
• 通过依赖无监督知识迁移定理中推导出的理论条件，确保迁移的正确性。

实验结果

研究问题

• RQ1 在异质设置下，从源域到无标签目标域实现正确知识迁移的充分条件是什么？
• RQ2 当特征空间异质且缺乏标签时，如何有意义地度量领域距离？
• RQ3 线性单调映射能否有效构建保留原始领域信息的同质表示？
• RQ4 如何设计一种基于核的方法，在无目标标签数据的情况下实现跨异质领域的知识迁移？
• RQ5 对于异质领域中的无监督迁移学习，可以提供哪些理论保证？

主要发现

• 无监督知识迁移定理提供了充分条件，确保从源域到无标签目标域的知识迁移正确且无负迁移。
• 基于主角的度量方法有效衡量了源域和目标域之间的相似性，同时在异质表示中保留了原始信息。
• 线性单调映射满足定理的条件，从而能够从异质领域可靠地构建同质表示。
• GLG 模型通过最小化所提出的度量，成功学习到同质表示，促进了有效知识迁移。
• 测地流核通过学习到的表示实现了知识迁移，确保在无目标标签情况下的迁移能力。
• 理论框架保证了迁移的正确性，为无监督异质迁移学习提供了基础性进展。