[论文解读] A Simple General Approach to Balance Task Difficulty in Multi-Task Learning

Sicong Liang, Yu Zhang|arXiv (Cornell University)|Feb 12, 2020

Domain Adaptation and Few-Shot Learning参考文献 37被引用 7

一句话总结

本文提出了一种平衡多任务学习（BMTL）框架，通过使用一种函数动态平衡任务难度，该函数优先处理当前损失较高的任务。通过最小化这些变换后损失的总和，BMTL 提升了优化效率和泛化能力，在无需人工设计权重或非光滑目标函数的情况下，在多个多任务学习基准上实现了最先进性能。

ABSTRACT

In multi-task learning, difficulty levels of different tasks are varying. There are many works to handle this situation and we classify them into five categories, including the direct sum approach, the weighted sum approach, the maximum approach, the curriculum learning approach, and the multi-objective optimization approach. Those approaches have their own limitations, for example, using manually designed rules to update task weights, non-smooth objective function, and failing to incorporate other functions than training losses. In this paper, to alleviate those limitations, we propose a Balanced Multi-Task Learning (BMTL) framework. Different from existing studies which rely on task weighting, the BMTL framework proposes to transform the training loss of each task to balance difficulty levels among tasks based on an intuitive idea that tasks with larger training losses will receive more attention during the optimization procedure. We analyze the transformation function and derive necessary conditions. The proposed BMTL framework is very simple and it can be combined with most multi-task learning models. Empirical studies show the state-of-the-art performance of the proposed BMTL framework.

研究动机与目标

• 为解决多任务学习中任务难度水平不均衡的问题，该问题在任务被同等对待时会损害性能。
• 通过引入一种通用且可微的解决方案，克服现有方法的局限性，如人工任务加权、非光滑目标函数以及与正则化不兼容的问题。
• 开发一种简单、即插即用的框架，可与大多数现有多任务学习模型结合使用。
• 通过使用变换函数动态提升当前训练损失较高的任务的关注度，实现学习的动态平衡。

提出的方法

• 提出一个变换函数 $ h(\ell_i) $，将每个任务的训练损失 $ \ell_i $ 映射到新值，从而增加高损失任务的权重。
• 最小化变换后损失的总和 $ \sum_i h(\ell_i) $，其中函数 $ h $ 的设计旨在在优化过程中增强高损失任务的影响。
• 推导出变换函数 $ h $ 的必要条件，以确保实现有效平衡和泛化。
• 分析 BMTL 框架的泛化界，从理论上证明其鲁棒性。
• 采用一种简单且可微的变换（例如指数或多项式函数），可轻松集成到任何多任务学习模型中。
• 将该框架应用于多种模型，包括 DMTL、DMTRL、TNRMTL 和 MRN，采用标准深度学习设置，使用 Adam 优化器和学习率衰减策略。

实验结果

研究问题

• RQ1 如何在不依赖人工设计任务权重的情况下，有效解决多任务学习中的任务难度不平衡问题？
• RQ2 一种通用且可微的训练损失变换是否能改善多样化多任务学习架构中的优化动态和模型性能？
• RQ3 在不同训练比例下，所提出的 BMTL 框架与现有平衡策略相比，在准确率和鲁棒性方面表现如何？
• RQ4 变换函数 $ h(\cdot) $ 的理论特性是什么？它们如何影响泛化能力和收敛性？

主要发现

• BMTL 框架在多个数据集（包括 Office-31、ImageCLEF 和 Office-Home）上，无论训练比例为 50%、60% 或 70%，均持续优于所有基线平衡策略。
• 在 Office-31 和 ImageCLEF 数据集上，BMTL 在所有多任务学习基线方法（如 DMTL、DMTRL、TNRMTL、MRN）中均实现了性能提升，无论训练划分如何。
• 在 SARCOS 回归数据集上，BMTL 达到了最低的均方误差，尤其在与 TNRMTL 方法结合时表现尤为突出，显示出在回归任务中的强大性能。
• 来自 Office-Home 数据集的训练损失曲线显示，初始损失较高的任务下降更快，证实 BMTL 在优化过程中有效优先处理了困难任务。
• BMTL 框架对超参数选择和模型初始化具有鲁棒性，五次重复实验中性能保持一致。
• 理论分析表明，变换函数 $ h(\cdot) $ 满足实现平衡和泛化所必需的条件，为其经验成功提供了理论支持。