[论文解读] Learning Multiple Tasks with Multilinear Relationship Networks

Mingsheng Long, Zhangjie Cao+2 more|arXiv (Cornell University)|Jun 6, 2015

Tensor decomposition and applications被引用 193

一句话总结

本文提出多线性关系网络（MRN），一种深度多任务学习框架，通过在多层网络参数上使用张量正态先验来建模细粒度的任务关系。通过联合学习可迁移的特征以及任务、类别和特征之间的多线性关系，MRN缓解了特征层中的负迁移问题和分类器层中的欠迁移问题，在标准多任务学习基准上实现了最先进性能。

ABSTRACT

Deep networks trained on large-scale data can learn transferable features to promote learning multiple tasks. Since deep features eventually transition from general to specific along deep networks, a fundamental problem of multi-task learning is how to exploit the task relatedness underlying parameter tensors and improve feature transferability in the multiple task-specific layers. This paper presents Multilinear Relationship Networks (MRN) that discover the task relationships based on novel tensor normal priors over parameter tensors of multiple task-specific layers in deep convolutional networks. By jointly learning transferable features and multilinear relationships of tasks and features, MRN is able to alleviate the dilemma of negative-transfer in the feature layers and under-transfer in the classifier layer. Experiments show that MRN yields state-of-the-art results on three multi-task learning datasets.

研究动机与目标

• 为解决多任务学习过程中深层特征层的负迁移问题和分类器层的欠迁移问题。
• 通过在深度卷积网络中建模任务、类别和特征之间的细粒度关系，提升特征迁移能力。
• 通过在网络参数上引入新型张量正态先验，联合学习可迁移特征和多线性任务关系。
• 克服现有方法的局限性，这些方法要么忽略任务关系，要么依赖浅层表示。

提出的方法

• 在深度网络的多个特定任务层的参数张量上引入张量正态先验作为贝叶斯先验。
• 通过高阶参数张量中的协方差结构，建模任务、类别和特征之间的多线性关系。
• 开发一种有效的学习算法，联合优化深度特征和多线性任务关系。
• 将该框架应用于共享特征层和特定任务的分类器层，实现自适应知识迁移。
• 使用Hinton图和t-SNE可视化分析学习到的任务关系和特征嵌入。
• 评估变体（MRN 8、MRN t）以消融分析低层关系和多线性特征-类别-任务交互的贡献。

实验结果

研究问题

• RQ1 建模任务、类别和特征之间的多线性关系是否能提升深度多任务学习中的知识迁移？
• RQ2 在网络参数上引入张量正态先验，对特征迁移能力和跨任务泛化能力有何影响？
• RQ3 联合学习特征和任务关系是否能同时缓解特征层中的负迁移和分类器层中的欠迁移？
• RQ4 所提出的多线性关系与简单的任务协方差或共享特征子空间模型相比，在捕捉内在任务相似性方面表现如何？

主要发现

• MRN在三个标准多任务学习数据集上达到最先进性能，优于所有浅层和深层多任务学习基线方法。
• MRN 8变体（在fc7层中省略任务关系建模）性能低于完整MRN，证实了在低层特定任务层中建模关系的重要性。
• MRN t变体（缺乏多线性特征-类别-任务关系）性能劣于完整MRN，表明捕捉联合协方差结构能增强迁移能力。
• Hinton图可视化显示，MRN学习到更一致且正向的任务相关性（如A、W、D呈正相关），而MTRL则显示出不相似任务（如D和C）之间的负相关性。
• t-SNE可视化表明，MRN的特征具有更好的类间分离性和类内紧凑性，且跨任务对齐更优，表明其迁移能力更强。
• 实验结果证实，MRN通过建模细粒度的多线性关系，有效减少了特征层中的负迁移和分类器层中的欠迁移。