[论文解读] Measuring and Harnessing Transference in Multi-Task Learning

Chris Fifty, Ehsan Amid+4 more|arXiv (Cornell University)|Oct 29, 2020

Domain Adaptation and Few-Shot Learning参考文献 61被引用 7

一句话总结

本文提出了一种新颖的、无需参数的度量方法——'传递性'（transference），用于量化多任务学习中任务之间的信息传递。通过在小批量（minibatch）层面分析梯度交互，作者提出了两种方法：一种用于宏观层面的任务分组选择，另一种用于微观层面的梯度调制。这两种方法在五个监督式多任务学习基准和一个多人多任务强化学习任务上均提升了性能，准确率最高较基线提升0.94%。

ABSTRACT

Multi-task learning can leverage information learned by one task to benefit the training of other tasks. Despite this capacity, naive formulations often degrade performance and in particular, identifying the tasks that would benefit from co-training remains a challenging design question. In this paper, we analyze the dynamics of information transfer, or transference, across tasks throughout training. Specifically, we develop a similarity measure that can quantify transference among tasks and use this quantity to both better understand the optimization dynamics of multi-task learning as well as improve overall learning performance. In the latter case, we propose two methods to leverage our transference metric. The first operates at a macro-level by selecting which tasks should train together while the second functions at a micro-level by determining how to combine task gradients at each training step. We find these methods can lead to significant improvement over prior work on three supervised multi-task learning benchmarks and one multi-task reinforcement learning paradigm.

研究动机与目标

• 为解决多任务学习中盲目联合训练常导致性能下降的问题，识别有益的任务分组。
• 开发一种可量化、无需参数的信息传递（transference）度量方法，用于训练过程中任务间的交互分析。
• 利用传递性提升多任务学习的效率与性能，通过宏观层面的任务选择与微观层面的梯度调整实现。
• 提出一种方法，在每个训练步骤中基于任务间亲和性动态选择最优梯度，减少负面干扰。
• 在包括视觉、自然语言处理和强化学习在内的多样化多任务学习场景中，验证基于传递性的方法的有效性。

提出的方法

• 基于任务梯度内积提出传递性度量，量化一个任务的损失梯度对另一任务损失梯度的影响程度。
• 利用该度量指导宏观层面的任务分组，选择传递性高的任务对进行联合训练。
• 提出一种微观层面的方法——IT-MTL，根据每个小批量的传递性值，在标准MTL梯度与PCGrad风格梯度之间动态选择。
• 采用传递性的的一阶近似方法，降低计算成本，同时保持与精确度量相近的性能。
• 将传递性与不确定性加权（UW）及PCGrad结合，进一步提升多目标学习的性能。
• 在包括MultiMNIST、NYUv2、MovieLens以及多人多任务强化学习设置在内的多样化基准上应用该方法，均取得一致性能提升。

实验结果

研究问题

• RQ1 是否可以设计一种无需参数、基于小批量的传递性度量，有效量化多任务学习中跨任务的梯度交互？
• RQ2 传递性是否与训练性能相关？能否用于识别有益的任务分组？
• RQ3 基于传递性的动态梯度选择是否能相比固定聚合方法，提升多任务学习的效率与性能？
• RQ4 所提方法在包括视觉、自然语言处理和强化学习在内的多样化多任务学习基准上表现如何？
• RQ5 基于传递性的方法是否能在准确率与鲁棒性上均优于PCGrad、MGDA-UB和不确定性加权等成熟基线方法？

主要发现

• 在MultiMNIST左图任务中，IT-MTL结合不确定性加权（UW-IT-PCGrad）达到90.94%的测试准确率，优于最佳基线方法（UW-PCGrad）0.17%。
• 在MultiMNIST右图任务中，UW-IT-PCGrad达到88.61%的准确率，较UW-PCGrad提升0.25%。
• 在NYUv2数据集上，IT-MTL在深度预测与表面法线预测任务上优于PCGrad，同时略微降低分割准确率，表明其在性能权衡上具有有效性。
• 在MovieLens数据集上，UW-IT-PCGrad‡在观看预测任务上达到82.15%准确率，在评分预测任务上达到73.97%，均优于UW-PCGrad（81.93%和73.93%）。
• 传递性的一阶近似（记为‡）与精确度量性能几乎完全一致，验证了其在高效推理中的适用性。
• 传递性度量成功识别出有益的任务分组，有效减少了负面梯度干扰，从而在多种多任务学习设置中实现一致的性能提升。