[论文解读] A Survey on Negative Transfer

Wen Zhang, Lingfei Deng+2 more|arXiv (Cornell University)|Sep 2, 2020

Domain Adaptation and Few-Shot Learning参考文献 118被引用 19

一句话总结

本文首次系统性地综述了迁移学习中的负迁移（NT）问题，全面回顾了四大类共50余种方法：安全迁移、领域相似性估计、远距离迁移和负迁移缓解。文章识别出导致负迁移的关键因素，并基于领域相似性提供选择合适策略的指导原则，显著推进了对现实世界迁移学习应用中负迁移的理解与实际处理。

ABSTRACT

Transfer learning (TL) utilizes data or knowledge from one or more source domains to facilitate the learning in a target domain. It is particularly useful when the target domain has very few or no labeled data, due to annotation expense, privacy concerns, etc. Unfortunately, the effectiveness of TL is not always guaranteed. Negative transfer (NT), i.e., leveraging source domain data/knowledge undesirably reduces the learning performance in the target domain, has been a long-standing and challenging problem in TL. Various approaches have been proposed in the literature to handle it. However, there does not exist a systematic survey on the formulation of NT, the factors leading to NT, and the algorithms that mitigate NT. This paper fills this gap, by first introducing the definition of NT and its factors, then reviewing about fifty representative approaches for overcoming NT, according to four categories: secure transfer, domain similarity estimation, distant transfer, and NT mitigation. NT in related fields, e.g., multi-task learning, lifelong learning, and adversarial attacks, are also discussed.

研究动机与目标

• 为解决迁移学习中长期存在的负迁移（NT）问题，即源领域知识损害目标领域性能的挑战。
• 对超过50种具有代表性的NT缓解方法进行系统性综述，填补现有文献中的关键空白。
• 基于四种核心策略——安全迁移、领域相似性估计、远距离迁移和负迁移缓解——对NT缓解技术进行分类与分析。
• 根据估计的领域相似性，提供选择迁移策略的实用指导。
• 识别NT领域的开放性挑战与未来研究方向，包括回归问题、开放集场景以及NT因素的理论诊断。

提出的方法

• 本文根据其底层机制，将NT缓解方法划分为四类：安全迁移、领域相似性估计、远距离迁移和NT缓解。
• 采用结构化框架评估方法，综合考虑可迁移性、领域差异性和数据质量因素。
• 分析特征适应、模型适应、对抗训练和实例级重加权等技术，评估其在减少NT方面的有效性。
• 对69项代表性工作进行对比分析，性能评估标准包括领域相似性、迁移算法和数据质量。
• 综述涵盖方法的理论与实证评估，重点关注从原则性视角明确解决NT问题的研究。
• 基于分析结果推导出指导原则，建议根据估计的领域相似性（高、中、低）选择相应策略。

实验结果

研究问题

• RQ1 在分类任务中，迁移学习中负迁移的主要成因及其贡献因素是什么？
• RQ2 在不同领域相似性条件下，各类NT缓解方法（安全迁移、领域相似性估计、远距离迁移和NT缓解）的表现如何？
• RQ3 哪些迁移学习范式（如无监督领域自适应、少样本学习）最易受到NT影响，如何加以防护？
• RQ4 当前NT缓解方法的关键局限性是什么，特别是在回归和开放集学习场景中？
• RQ5 在真实世界应用中，如何诊断导致NT的确切因素，以指导最优策略的选择？

主要发现

• 当前NT研究主要聚焦于NT缓解和领域相似性估计，且高度强调提升数据可迁移性。
• NT缓解方法主要针对数据可迁移性，通常结合领域差异性、迁移算法和数据质量等因素。
• 安全迁移策略主要基于模型适应，表明亟需更多样化的安全迁移机制。
• 大多数NT缓解方法同时考虑多种因素（如领域差异性、数据质量），表明向整体化缓解策略发展的趋势。
• 目前缺乏针对回归问题的NT缓解研究，凸显了现有文献中的显著空白。
• 综述指出，NT因素的理论诊断仍发展不足，亟需开发新的实证与理论工具，以识别特定应用中的根本原因。