[论文解读] Learning to Multitask

Yu Zhang, Ying Wei+1 more|arXiv (Cornell University)|May 19, 2018

Domain Adaptation and Few-Shot Learning参考文献 31被引用 9

一句话总结

本文提出 Learning to Multitask (L2MT) 框架，利用历史多任务经验自动选择最优多任务模型。该框架采用逐层图神经网络学习任务嵌入，并通过估计函数预测相对测试误差，实现端到端的模型选择，在基准数据集上的表现优于基线方法，显著降低了误差。

ABSTRACT

Multitask learning has shown promising performance in many applications and many multitask models have been proposed. In order to identify an effective multitask model for a given multitask problem, we propose a learning framework called learning to multitask (L2MT). To achieve the goal, L2MT exploits historical multitask experience which is organized as a training set consists of several tuples, each of which contains a multitask problem with multiple tasks, a multitask model, and the relative test error. Based on such training set, L2MT first uses a proposed layerwise graph neural network to learn task embeddings for all the tasks in a multitask problem and then learns an estimation function to estimate the relative test error based on task embeddings and the representation of the multitask model based on a unified formulation. Given a new multitask problem, the estimation function is used to identify a suitable multitask model. Experiments on benchmark datasets show the effectiveness of the proposed L2MT framework.

研究动机与目标

• 为解决从大量候选模型中为给定多任务问题选择有效多任务模型的挑战。
• 通过用学习到的数据驱动方法替代昂贵的交叉验证，降低模型选择的计算成本。
• 通过从历史多任务经验中学习，实现自动化的、可泛化的模型选择。
• 通过联合优化任务表征和模型协方差矩阵，提升多任务学习性能。

提出的方法

• L2MT 将历史多任务经验表示为三元组 (多任务问题, 多任务模型, 相对测试误差)，构成元学习的训练集。
• 使用逐层图神经网络 (LGNN) 学习捕捉多任务问题内任务间关系的任务嵌入。
• 任务嵌入矩阵被聚合为多任务问题的表征，而任务协方差矩阵则作为多任务模型的表征。
• 端到端的估计函数将多任务问题与模型的联合表征映射到相对测试误差的预测值。
• 对于新的多任务问题，该框架通过最小化估计函数，联合学习最优任务协方差矩阵和相应的多任务模型。
• 该框架支持对特征提取器（如 VGG-19）进行微调，以进一步提升性能。

实验结果

研究问题

• RQ1 基于学习的框架是否能在无需全面交叉验证的情况下，有效识别适用于新多任务问题的合适多任务模型？
• RQ2 如何有效表示任务关系以指导多任务模型选择？
• RQ3 学习到的任务嵌入和模型表征在多任务学习中能将泛化能力提升到何种程度？
• RQ4 所提出的框架在测试误差和鲁棒性方面是否优于现有的多任务学习基线方法？

主要发现

• 当在 Caltech256 和 MIT-Indoor-Scene 数据集上对 VGG-19 网络进行微调时，L2MT 将平均测试误差降低了约 5%。
• 该框架在不同超参数设置下表现出稳健性能，对 λ ∈ [0.01, 0.5] 和 k ∈ [5, 10] 的敏感性极低。
• L2MT 学习到了有意义的任务相关性，例如 'Bear' 和 'Dog' 分类任务之间存在强烈的负相关性，这与性能提升相关。
• 案例研究显示，与 SNR1 和 MTRL 相比，L2MT 能够识别出更具信息量的任务关系，尤其在捕捉相关任务之间的高负相关性方面表现更优。
• 使用替代的估计函数和链接函数会导致测试误差相对增加约 2%，证明了所提出函数形式的优越性。
• 实证结果支持泛化界，显示随着训练三元组数量 q 的增加，测试误差持续下降。