[论文解读] A Survey on Multi-Task Learning

Yu Zhang, Qiang Yang|arXiv (Cornell University)|Jul 25, 2017

Domain Adaptation and Few-Shot Learning参考文献 203被引用 620

一句话总结

本综述从算法建模、应用和理论角度对多任务学习（MTL）进行梳理，将MTL方法分为五类，并讨论与其他范式及大规模设置的混合。

ABSTRACT

Multi-Task Learning (MTL) is a learning paradigm in machine learning and its aim is to leverage useful information contained in multiple related tasks to help improve the generalization performance of all the tasks. In this paper, we give a survey for MTL from the perspective of algorithmic modeling, applications and theoretical analyses. For algorithmic modeling, we give a definition of MTL and then classify different MTL algorithms into five categories, including feature learning approach, low-rank approach, task clustering approach, task relation learning approach and decomposition approach as well as discussing the characteristics of each approach. In order to improve the performance of learning tasks further, MTL can be combined with other learning paradigms including semi-supervised learning, active learning, unsupervised learning, reinforcement learning, multi-view learning and graphical models. When the number of tasks is large or the data dimensionality is high, we review online, parallel and distributed MTL models as well as dimensionality reduction and feature hashing to reveal their computational and storage advantages. Many real-world applications use MTL to boost their performance and we review representative works in this paper. Finally, we present theoretical analyses and discuss several future directions for MTL.

研究动机与目标

• 定义多任务学习并澄清相关概念（同质特征空间与异质特征空间）。
• 将现有的MTL算法分为五类：特征学习、低秩、任务聚类、任务关系学习和分解。
• 讨论MTL与半监督、主动学习、无监督、强化学习、多视角学习和图模型等的组合。
• 评估可扩展性方面的考虑（在线、并行、分布式MTL）以及高维技术（降维、特征哈希）。

提出的方法

• 给出具有相关性的 m 任务的多任务学习的正式定义。
• 将算法方法分为五类并描述各自的特征。
• 详细介绍基于特征和基于参数的方法及其子类型（变换型与选择型；低秩、聚类、关系学习、分解）。
• 介绍具备共享表示、对抗网络和跨缝网络的深度MTL变体。
• 讨论与其他学习范式的组合以及针对高维或大量任务设置的可扩展性解决方案。

实验结果

研究问题

• RQ1 跨监督和非监督设置，多任务学习的精确定义和范围是什么？
• RQ2 MTL算法如何分类，每一类的特征是什么？
• RQ3 跨任务共享知识的有效策略有哪些（特征共享、样本/实例共享、参数共享）及其权衡？
• RQ4 MTL如何与其他学习范式交互并扩展到大量任务或高维数据？
• RQ5 MTL的关键理论分析和未来方向是什么？

主要发现

• MTL可以分为五个主要算法类别：特征学习、低秩、任务聚类、任务关系学习和分解。
• 特征学习可以通过基于变换的方式实现，通常使用深度模型，或通过具有组稀疏正则化（如 l21 及相关范数）的特征选择来实现。
• 低秩和分解方法通过共享子空间或矩阵分解来建模任务间的相关性，从而实现可扩展的参量共享。
• 混合式深度MTL模型使用共享网络、对抗目标或跨缝机制来平衡通用与任务特定表示。
• 该综述也讨论将MTL与半监督、主动学习、无监督、强化学习、多视角学习和图模型相结合，以及在线/并行/分布式设置与降维技术。