[论文解读] A Recent Survey of Heterogeneous Transfer Learning

Runxue Bao, Yiming Sun+5 more|arXiv (Cornell University)|Oct 12, 2023

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

本文对异质迁移学习（HTL）进行了全面且最新的综述，涵盖自2017年以来在方法、挑战和应用方面的最新进展。系统性地回顾了基于数据和基于模型的HTL技术，强调了预训练模型和多模态学习的作用，并指出了在无监督迁移、跨域知识蒸馏和可解释性方面存在的关键研究空白，为该不断发展的领域未来研究提供了路线图。

ABSTRACT

The application of transfer learning, leveraging knowledge from source domains to enhance model performance in a target domain, has significantly grown, supporting diverse real-world applications. Its success often relies on shared knowledge between domains, typically required in these methodologies. Commonly, methods assume identical feature and label spaces in both domains, known as homogeneous transfer learning. However, this is often impractical as source and target domains usually differ in these spaces, making precise data matching challenging and costly. Consequently, heterogeneous transfer learning (HTL), which addresses these disparities, has become a vital strategy in various tasks. In this paper, we offer an extensive review of over 60 HTL methods, covering both data-based and model-based approaches. We describe the key assumptions and algorithms of these methods and systematically categorize them into instance-based, feature representation-based, parameter regularization, and parameter tuning techniques. Additionally, we explore applications in natural language processing, computer vision, multimodal learning, and biomedicine, aiming to deepen understanding and stimulate further research in these areas. Our paper includes recent advancements in HTL, such as the introduction of transformer-based models and multimodal learning techniques, ensuring the review captures the latest developments in the field. We identify key limitations in current HTL studies and offer systematic guidance for future research, highlighting areas needing further exploration and suggesting potential directions for advancing the field.

研究动机与目标

• 提供2017年后开发的异质迁移学习（HTL）方法的全面、最新综述，解决先前综述因在重大进展之前而存在的局限性。
• 分析HTL中的挑战，包括特征空间、标签空间和数据分布的差异，这些因素阻碍了传统同质迁移学习的应用。
• 研究现代架构（如Transformer，例如BERT、GPT）和大规模预训练模型在实现跨异质领域有效知识迁移中的作用。
• 识别在无监督HTL、跨域知识蒸馏和模型可解释性方面的关键研究空白，特别是在高风险应用场景中。
• 通过概述有前景的研究方向，如多模态学习、高效微调和稳健、可解释的HTL框架，为未来研究提供指导。

提出的方法

• 该综述采用系统化、基于分类体系的方法，将HTL方法分类为基于数据和基于模型的范式，强调其处理领域异质性的机制。
• 回顾基于数据的方法，通过特征空间转换、分布对齐或实例加权来对齐源域和目标域，即使特征空间不同也能实现对齐。
• 考察基于模型的方法，通过架构适配实现知识迁移，例如共享表示、注意力机制或多模态设置下的交叉注意力。
• 分析预训练模型（尤其是大规模语言模型）作为HTL基础知识来源的整合，实现零样本或少样本适应。
• 讨论多模态HTL技术，通过对比学习或交叉注意力统一模态（如文本、图像、音频）的表示，以实现跨域迁移。
• 评估HTL中的知识蒸馏，指出其因领域错位和负迁移风险而存在局限性，同时提出开发新型跨域蒸馏技术的潜力。

实验结果

研究问题

• RQ1 自2017年以来，基于Transformer的模型和大规模基础模型如何改变了异质迁移学习的格局？
• RQ2 在处理异质领域时，基于数据和基于模型的方法在核心方法论上的差异和局限性是什么？
• RQ3 多模态学习和交叉注意力机制在HTL中如何增强跨多样化数据模态的知识迁移？
• RQ4 为何知识蒸馏在异质设置中效果较差，以及哪些新型技术可克服其在跨域知识迁移中的局限性？
• RQ5 在提高可解释性和减少负迁移方面，异质迁移学习系统面临哪些关键挑战与机遇？

主要发现

• 综述指出，近年来HTL的进展越来越依赖于大规模预训练模型，这些模型提供稳健、与任务无关的初始化，并通过微调显著降低训练成本。
• 多模态HTL已发展为一种强大范式，尤其在视觉问答和跨模态检索等任务中，因其能通过注意力机制对齐不同类型的数据而表现出色。
• 当源域和目标域在任务或数据结构上不同时，知识蒸馏在HTL中仍无效，因为它假设输入-输出空间对齐，存在负迁移风险。
• 可解释性是HTL中一个关键但发展不足的领域，因为转移表示中复杂且非直观的交互阻碍了模型调试和在高风险领域中的信任建立。
• 尽管已有进展，无监督和弱监督HTL仍研究不足，代表了未来研究的重要前沿，有助于弥合海量源数据与稀缺标注目标数据之间的鸿沟。
• 综述结论认为，尽管HTL因数据稀缺而对实际部署至关重要，但实现广泛采用仍需可扩展、稳健且可解释的框架。