[论文解读] Multi-Task Learning with Labeled and Unlabeled Tasks

Anastasia Pentina, Christoph H. Lampert|arXiv (Cornell University)|Feb 21, 2016

Machine Learning and Data Classification被引用 6

一句话总结

本文提出了一种新颖的多任务学习框架，通过在有标签任务与无标签任务之间实现信息迁移，同时利用有标签和无标签任务。该方法引入了一个泛化界，用于指导有标签任务的合理选择与任务特定权重的设定，显著优于被动方法和基线方法，在合成数据和真实世界数据上均表现出更优性能。

ABSTRACT

In multi-task learning, a learner is given a collection of prediction tasks and needs to solve all of them. In contrast to previous work, which required that annotated training data is available for all tasks, we consider a new setting, in which for some tasks, potentially most of them, only unlabeled training data is provided. Consequently, to solve all tasks, information must be transferred between tasks with labels and tasks without labels. Focusing on an instance-based transfer method we analyze two variants of this setting: when the set of labeled tasks is fixed, and when it can be actively selected by the learner. We state and prove a generalization bound that covers both scenarios and derive from it an algorithm for making the choice of labeled tasks (in the active case) and for transferring information between the tasks in a principled way. We also illustrate the effectiveness of the algorithm by experiments on synthetic and real data.

研究动机与目标

• 解决仅部分任务具有标注数据而多数任务仅有无标注数据时的多任务学习挑战。
• 实现不仅在有标签任务之间，而且从有标签任务到无标签任务之间的有效信息迁移，弥补现有多任务学习方法的不足。
• 提出一种基于数据依赖准则而非随机或固定选择的有标签任务主动选择的系统性方法。
• 推导一个泛化界，量化任务选择与迁移权重对整体预测误差的综合影响。
• 在合成数据和真实世界场景中，实证验证该方法相较于被动和基线方法的优越性。

提出的方法

• 提出一种统一的基于实例的迁移方法，通过任务特定的凸权重组合各任务的训练误差。
• 推导一个依赖于有标签任务子集与迁移权重的泛化界，同时捕捉有标签任务之间的迁移以及从有标签到无标签任务的迁移。
• 将泛化界中可计算的项用作目标函数，以同时优化任务选择（在主动设置下）与迁移权重。
• 采用梯度下降与GraSP算法进行优化，并使用k-means++初始化进行主动任务选择。
• 在两种场景下应用该方法：被动场景（固定有标签集）与主动场景（学习者选择哪些任务进行标注）。
• 对每个任务使用最小二乘岭回归作为预测器，并通过交叉验证选择正则化常数。

实验结果

研究问题

• RQ1 在仅部分任务具有标注的多任务学习设置中，能否有效实现从有标签任务到无标签任务的信息迁移？
• RQ2 如何以数据依赖的、系统性的方式选择有标签任务子集，以最大化学习性能？
• RQ3 在这一混合多任务与领域自适应设置中，能够量化任务选择与迁移权重综合影响的泛化界是什么？
• RQ4 所提出的主动任务选择策略相较于被动选择，在准确率与标签效率方面表现如何？
• RQ5 在何种条件下（如任务平滑性）该方法有望取得成功？

主要发现

• 受领域自适应启发的主动方法（Active DA）在合成数据与真实数据上均优于标准多任务方法（20），尤其当最优预测器在不同任务间差异显著时表现更优。
• 主动任务选择方法（Active DA 与 Active DA-SS）在所有标签比例下均持续优于其被动对应方法（DA 与 DA-SS），且达到相近准确率所需有标签任务更少。
• 当一半任务被标注时，所提方法性能几乎与完全标注基线相当，展现出极高的标签效率。
• 在合成数据上，Active DA 在多源迁移中超越了完全标注基线，表明在任务相关时，战略性标注可优于完全标注。
• 受领域自适应启发的方法（DA）明显优于多任务基线，尤其在任务多样性较高的场景中，因其能灵活学习任务特定预测器。
• 结果证实，将标签集中于代表性任务子集，比将标签稀疏地分布于所有任务更有效，无论在成本还是准确率方面。