[论文解读] Learning Multiple Tasks with Deep Relationship Networks

Mingsheng Long, Jianmin Wang+1 more|arXiv (Cornell University)|Jun 6, 2015

Domain Adaptation and Few-Shot Learning参考文献 34被引用 87

一句话总结

本文提出深度关系网络（DRN），一种多任务学习框架，通过在所有任务特定层（包括不可迁移的高层特征和分类器）的参数上施加矩阵正态先验来建模任务关系。通过联合优化可迁移特征与任务相关性，DRN缓解了特征层中的负迁移问题和分类器中的欠迁移问题，在多领域目标识别基准上实现了最先进性能。

ABSTRACT

Deep neural networks trained on large-scale dataset can learn transferable features that promote learning multiple tasks for inductive transfer and labeling mitigation. As deep features eventually transition from general to specific along the network, a fundamental problem is how to exploit the relationship structure across different tasks while accounting for the feature transferability in the task-specific layers. In this work, we propose a novel Deep Relationship Network (DRN) architecture for multi-task learning by discovering correlated tasks based on multiple task-specific layers of a deep convolutional neural network. DRN models the task relationship by imposing matrix normal priors over the network parameters of all task-specific layers, including higher feature layers and classifier layer that are not transferable safely. By jointly learning the transferable features and task relationships, DRN is able to alleviate the dilemma of negative-transfer in the feature layers and under-transfer in the classifier layer. Empirical evidence shows that DRN yields state-of-the-art classification results on standard multi-domain object recognition datasets.

研究动机与目标

• 为解决多任务学习过程中共享特征层中的负迁移问题以及特定任务分类器中的欠迁移问题。
• 在深层网络的多个层次上建模任务关系，包括不可迁移的高层特征和最终分类器。
• 联合学习可迁移特征与任务相关性，以提升泛化能力并减少标注负担。
• 克服现有方法在可迁移性方面对特征层与分类器层处理方式不同的局限性。

提出的方法

• 提出一种深度关系网络（DRN）架构，通过在所有任务特定层的网络参数上施加矩阵正态先验来建模任务关系。
• 将矩阵正态先验应用于深层特征层和分类器层的参数，实现可迁移特征与任务相关性的联合学习。
• 通过在多个层次上建模关系，利用深层网络的层次结构，包括高层的不可迁移特征。
• 采用概率框架基于任务相似性正则化参数共享，减少负迁移并提升泛化能力。
• 在矩阵正态先验下优化所有任务的联合似然，支持端到端训练，并在任务间共享归纳偏置。
• 通过学习共享表征实现归纳迁移，同时在后续层中保留任务特定特征。

实验结果

研究问题

• RQ1 如何在深层神经网络的多个层次上（包括不可迁移的分类器层）有效建模任务关系？
• RQ2 矩阵正态先验在多任务学习中在多大程度上能改善特征迁移并减少负迁移？
• RQ3 联合优化可迁移特征与任务关系是否能提升多领域识别任务的性能？
• RQ4 DRN在缓解欠迁移与负迁移方面与现有多任务学习方法相比表现如何？

主要发现

• DRN在标准多领域目标识别数据集上实现了最先进分类性能。
• 在所有任务特定层上使用矩阵正态先验，有效减少了共享特征层中的负迁移。
• DRN通过在不可迁移组件中建模任务关系，缓解了分类器层中的欠迁移问题。
• 实证结果表明，联合学习特征与任务关系可显著提升在多样化领域中的泛化能力。
• 该方法在多个基准数据集上均表现出一致的性能提升，证实了在所有网络层级建模任务相关性的有效性。