[论文解读] Branched Multi-Task Networks: Deciding What Layers To Share

Simon Vandenhende, Georgoulis, Stamatios+2 more|arXiv (Cornell University)|Apr 5, 2019

Domain Adaptation and Few-Shot Learning参考文献 25被引用 8

一句话总结

本文提出一种通过表示相似性分析（RSA）学习任务亲和力，自动设计分支型多任务神经网络的方法，实现最优的层共享决策。在给定参数预算下，该方法性能优于基线模型，并通过动态分配共享层的任务特定深度，以更少的参数实现目标精度。

ABSTRACT

In the context of multi-task learning, neural networks with branched architectures have often been employed to jointly tackle the tasks at hand. Such ramified networks typically start with a number of shared layers, after which different tasks branch out into their own sequence of layers. Understandably, as the number of possible network configurations is combinatorially large, deciding what layers to share and where to branch out becomes cumbersome. Prior works have either relied on ad hoc methods to determine the level of layer sharing, which is suboptimal, or utilized neural architecture search techniques to establish the network design, which is considerably expensive. In this paper, we go beyond these limitations and propose an approach to automatically construct branched multi-task networks, by leveraging the employed tasks' affinities. Given a specific budget, i.e. number of learnable parameters, the proposed approach generates architectures, in which shallow layers are task-agnostic, whereas deeper ones gradually grow more task-specific. Extensive experimental analysis across numerous, diverse multi-tasking datasets shows that, for a given budget, our method consistently yields networks with the highest performance, while for a certain performance threshold it requires the least amount of learnable parameters.

研究动机与目标

• 为解决在分支型多任务网络中手动选择共享层的挑战，该过程易出错且次优。
• 通过自动化架构设计过程，消除对手动或昂贵神经架构搜索的依赖。
• 通过基于可测量的任务相关性动态确定任务特定深度，提升模型效率与性能。
• 通过表示相似性指导，仅让相关任务共享早期层，从而减少负迁移。

提出的方法

• 该方法使用表示相似性分析（RSA）计算任务亲和力得分，通过测量不同任务在各网络深度处的特征表示之间的相关性。
• RSA在主干网络的多个层上应用，使用保留图像集的特征计算RDM（表示差异矩阵）矩阵。
• 任务亲和力通过在每个深度处RDM矩阵的平均相关性量化，反映不同任务表示的相似程度。
• 基于这些亲和力得分，该方法构建分支架构，其中浅层在所有任务间共享，而深层则按任务组逐步专业化。
• 在固定参数预算下优化架构，确保冗余最小化且性能最大化。
• 最终网络使用与单任务模型相同的超参数，进行端到端标准优化训练。

实验结果

研究问题

• RQ1 如何自动确定在分支型多任务网络中，哪些层应在多个任务间共享？
• RQ2 通过表示相似性测量的任务亲和力，是否能提升多任务网络性能，相比固定或临时设定的分支策略？
• RQ3 在固定参数预算下，该方法是否优于现有多任务学习基线，实现更高的准确率？
• RQ4 该方法能否减少达到目标性能阈值所需的参数数量？

主要发现

• 在给定参数预算下，所提方法在性能上始终优于采用固定分支或临时共享策略的基线多任务网络。
• 当受限于性能阈值时，该方法所需可学习参数显著少于现有方法，展现出更高的参数效率。
• 该方法基于表示相似性识别出最优任务分组，通过避免无关任务间共享，减少负迁移。
• 计算开销主要来自训练单任务模型，额外开销极小——相比神经架构搜索更高效，且与软参数共享方法相当。
• 在Taskonomy数据集上，该方法生成的架构在准确率和效率上均优于标准多任务网络和cross-stitch网络。
• 定性结果表明，网络在深层学习到有意义的任务特定表示，且在多样化视觉识别任务中表现出更优的泛化能力。