[论文解读] Auxiliary Learning for Deep Multi-task Learning

Yifan Liu, Bohan Zhuang+3 more|arXiv (Cornell University)|Sep 5, 2019

Domain Adaptation and Few-Shot Learning参考文献 60被引用 6

一句话总结

本文提出了一种用于深度多任务学习的辅助学习框架，通过在训练过程中引入任务特定的辅助模块来增强硬参数共享，从而稳定优化过程并提升泛化能力。这些辅助模块通过任务特定的损失进行训练，作为归纳偏置来正则化共享层，且不增加推理成本，从而在语义分割、深度估计和表面法线预测任务上达到最先进性能。

ABSTRACT

Multi-task learning (MTL) is an efficient solution to solve multiple tasks simultaneously in order to get better speed and performance than handling each single-task in turn. The most current methods can be categorized as either: (i) hard parameter sharing where a subset of the parameters is shared among tasks while other parameters are task-specific; or (ii) soft parameter sharing where all parameters are task-specific but they are jointly regularized. Both methods suffer from limitations: the shared hidden layers of the former are difficult to optimize due to the competing objectives while the complexity of the latter grows linearly with the increasing number of tasks. To mitigate those drawbacks, this paper proposes an alternative, where we explicitly construct an auxiliary module to mimic the soft parameter sharing for assisting the optimization of the hard parameter sharing layers in the training phase. In particular, the auxiliary module takes the outputs of the shared hidden layers as inputs and is supervised by the auxiliary task loss. During training, the auxiliary module is jointly optimized with the MTL network, serving as a regularization by introducing an inductive bias to the shared layers. In the testing phase, only the original MTL network is kept. Thus our method avoids the limitation of both categories. We evaluate the proposed auxiliary module on pixel-wise prediction tasks, including semantic segmentation, depth estimation, and surface normal prediction with different network structures. The extensive experiments over various settings verify the effectiveness of our methods.

研究动机与目标

• 解决由竞争任务引起的冲突梯度导致的硬参数共享多任务学习中的优化不稳定性问题。
• 克服软参数共享的计算低效性，其复杂度随任务数量线性增长。
• 在不增加推理复杂度的前提下，提升多任务网络中共享表征的泛化能力和收敛性。
• 探索辅助模块的自动化架构搜索，以减少人工设计带来的偏差。

提出的方法

• 引入辅助模块，接收共享隐藏层的特征作为输入，并通过任务特定的辅助损失进行监督。
• 在训练过程中联合优化主多任务网络和辅助模块，为共享层提供分层梯度信号和归纳偏置。
• 在推理阶段丢弃辅助模块，保持原始模型的效率和推理速度。
• 使用神经架构搜索（NAS）自动发现最优的辅助模块结构，减少对人工设计的依赖。
• 将该框架应用于多种主干网络架构（例如，ResNet-50、MobileNetV2），覆盖多个像素级预测任务。
• 在训练过程中使用任务损失的加权和，其中辅助模块提供正则化以平衡相互竞争的目标。

实验结果

研究问题

• RQ1 在任务特定目标上训练的辅助模块是否能改善硬参数共享 MTL 中共享层的优化？
• RQ2 通过辅助模块引入归纳偏置是否能带来更好的泛化能力和收敛性？
• RQ3 所提出的方法是否能在保持低推理成本的同时，实现与单任务基线相当或更优的性能？
• RQ4 当扩展到多于两个任务时，例如三任务 MTL（语义分割、深度估计、法线预测），该辅助学习策略表现如何？
• RQ5 神经架构搜索能否在无人工偏差的情况下有效发现最优的辅助模块设计？

主要发现

• 所提出的辅助学习方法将 Joint 基线在 NYUD-V2 上的 mIoU 从 42.9% 提升至 47.9%，优于 TRL-ResNet-50 等最先进方法。
• 在 NYUD-V2 上，该方法实现了 0.127 的 Rel Error 和 0.495 的 RMS Error，优于单任务基线的深度估计性能（0.137 Rel Error）。
• 在 SUNRGBD 上，使用所有辅助模块后，mIoU 从 53.7% 提升至 54.9%，平均法线误差从 28.7° 降低至 26.1°。
• 由表面法线损失监督的辅助模块显著提升了深度预测性能，表明存在强大的跨任务知识迁移。
• NAS 优化的辅助模块实现了最佳性能，证明了自动化架构搜索在提升 MTL 效果方面的有效性。
• 可视化结果表明，相比基线，该方法生成的语义标签更一致，深度图更精确，证实了定性性能的提升。