[论文解读] Gap Minimization for Knowledge Sharing and Transfer

Boyu Wang, Jorge M. Méndez+6 more|arXiv (Cornell University)|Jan 26, 2022

Domain Adaptation and Few-Shot Learning被引用 6

一句话总结

本文提出性能差距作为一种新颖的、依赖数据与算法的任务相似性度量方法，用于迁移学习与多任务学习，将其视为正则化项以获得更紧致的泛化界。作者提出以最小化性能差距作为统一原则，通过两种算法实现：基于提升的迁移学习方法gapBoost，以及表示学习方法gapMTNN。这两种方法在PACS、Office-31和Office-Home等标准基准上均优于现有基线方法。

ABSTRACT

Learning from multiple related tasks by knowledge sharing and transfer has become increasingly relevant over the last two decades. In order to successfully transfer information from one task to another, it is critical to understand the similarities and differences between the domains. In this paper, we introduce the notion of \emph{performance gap}, an intuitive and novel measure of the distance between learning tasks. Unlike existing measures which are used as tools to bound the difference of expected risks between tasks (e.g., $\mathcal{H}$-divergence or discrepancy distance), we theoretically show that the performance gap can be viewed as a data- and algorithm-dependent regularizer, which controls the model complexity and leads to finer guarantees. More importantly, it also provides new insights and motivates a novel principle for designing strategies for knowledge sharing and transfer: gap minimization. We instantiate this principle with two algorithms: 1. gapBoost, a novel and principled boosting algorithm that explicitly minimizes the performance gap between source and target domains for transfer learning; and 2. gapMTNN, a representation learning algorithm that reformulates gap minimization as semantic conditional matching for multitask learning. Our extensive evaluation on both transfer learning and multitask learning benchmark data sets shows that our methods outperform existing baselines.

研究动机与目标

• 解决迁移学习与多任务学习中缺乏利用标注数据的高效任务相似性度量的问题。
• 建立统一的理论框架，将模型复杂度与泛化误差关联至任务差异。
• 基于最小化任务间性能差距，提出新的知识共享策略。
• 通过将性能差距视为依赖数据与算法的正则化项，获得更紧致的泛化界。
• 设计并评估新型算法——gapBoost与gapMTNN，其显式最小化性能差距。

提出的方法

• 引入性能差距作为衡量任务间差异的指标，定义为不同任务上模型性能的期望差异。
• 理论上证明性能差距作为依赖数据与算法的正则化项，可导出更紧致的泛化界。
• 提出以最小化性能差距作为统一的知识共享与迁移原则，适用于迁移学习与多任务学习。
• 设计gapBoost，一种显式最小化源域与目标域间性能差距的提升算法。
• 设计gapMTNN，一种表示学习模型，将性能差距最小化重新表述为跨任务的语义条件匹配。
• 采用算法稳定性分析来验证所提方法的泛化特性，损失函数同时包含性能差距与边缘对齐项。

实验结果

研究问题

• RQ1 如何设计一种利用标注数据的任务相似性度量方法，以提升知识迁移效果？
• RQ2 性能差距能否作为正则化项，使迁移学习与多任务学习中的泛化界更紧致？
• RQ3 模型复杂度、泛化误差与性能差距之间存在何种理论关系？
• RQ4 如何将性能差距最小化转化为实用的知识共享算法原则？
• RQ5 基于性能差距最小化的算法是否在迁移学习与多任务学习设置中优于现有基线方法？

主要发现

• 理论上证明性能差距作为依赖数据与算法的正则化项，可使泛化界优于传统度量（如H-分歧）
• gapBoost在PACS、Office-31与Office-Home等迁移学习基准上达到最先进性能，显著优于基线方法。
• gapMTNN通过语义条件匹配实现有效表示对齐，优于现有多任务学习方法，其优化目标基于性能差距最小化。
• 所提方法在多种数据集上均一致提升泛化性能，所有评估数据划分（10%、15%、20%训练数据）下均观察到性能增益。
• 实证结果表明，最小化性能差距可提升模型稳定性与可迁移性，尤其在有标签信息可用时效果更显著。
• 在框架中使用Wasserstein距离作为相似性度量，可实现有效的领域对齐，且通过对抗训练高效近似该距离。