[论文解读] Which Tasks Should Be Learned Together in Multi-task Learning?

Trevor Standley, Amir Zamir+4 more|arXiv (Cornell University)|May 18, 2019

Domain Adaptation and Few-Shot Learning参考文献 65被引用 68

一句话总结

该论文分析在多任务学习中任务如何相互作用，并提出一个框架，将任务在固定推理预算下分组到不同网络以最大化整体准确性，显示任务亲和力取决于网络规模、数据和设置。

ABSTRACT

Many computer vision applications require solving multiple tasks in real-time. A neural network can be trained to solve multiple tasks simultaneously using multi-task learning. This can save computation at inference time as only a single network needs to be evaluated. Unfortunately, this often leads to inferior overall performance as task objectives can compete, which consequently poses the question: which tasks should and should not be learned together in one network when employing multi-task learning? We study task cooperation and competition in several different learning settings and propose a framework for assigning tasks to a few neural networks such that cooperating tasks are computed by the same neural network, while competing tasks are computed by different networks. Our framework offers a time-accuracy trade-off and can produce better accuracy using less inference time than not only a single large multi-task neural network but also many single-task networks.

研究动机与目标

• 描述任务关系如何影响多任务学习的性能。
• 确定在同一网络中分组任务与将它们分离的情形。
• 开发一个框架，在推理时约束下选择任务分组，以优化总损失。

提出的方法

• 基于 Taskonomy 数据集，使用两个包含5个任务的集合，实证研究任务之间的协作与干扰。
• 评估网络规模、数据集规模和任务相似性如何影响多任务亲和力。
• 定义并求解一个优化问题，在预算 b 内选择一组网络来解决任务的子集。
• 提出近似方法（ESA 和 HOA）以减少候选网络的训练时间。
• 与基线进行比较，包括单任务网络和所有任务在同一网络中的基线。

实验结果

研究问题

• RQ1 在不同网络容量和数据水平下，任务关系如何影响多任务学习的性能？
• RQ2 我们能否在固定推理时间预算下自动将任务分配给网络以最大化总损失？
• RQ3 迁移学习亲和力（Taskonomy）是否在不同设置下预测多任务亲和力？
• RQ4 有哪些有效的近似方法可以预测网络性能并加速任务分组搜索？

主要发现

• 在容量有限的情况下，多任务网络在总计算量等效时的表现落后于单任务网络，但在容量重新分配或增加时可能超过单任务网络。
• 任务亲和力高度依赖设置；较大的网络揭示出更多有益的分组，而较小的网络则显示出较弱或不同的亲和力。
• 当一起训练时，Surface Normals 能稳定提升其他任务的性能，尽管在共同训练时 Normals 任务本身通常会下降。
• 迁移学习亲和力（Taskonomy）并不能强烈预测多任务亲和力；在不同设置之间没有稳健的相关性。
• 设计的任务分组框架在不同预算下可以超过传统基线（单任务、所有任务在同一网络）；最优分组会随预算和网络容量而调整。