[论文解读] Auxiliary Tasks in Multi-task Learning

Lukas Liebel, Marco Körner|arXiv (Cornell University)|May 16, 2018

Advanced Neural Network Applications参考文献 31被引用 178

一句话总结

该论文提出在多任务CNN中添加辅助任务，以正则化学习并提升主任务性能，在基于视觉的道路场景理解中通过合成多任务数据集 synMT 进行验证。

ABSTRACT

Multi-task convolutional neural networks (CNNs) have shown impressive results for certain combinations of tasks, such as single-image depth estimation (SIDE) and semantic segmentation. This is achieved by pushing the network towards learning a robust representation that generalizes well to different atomic tasks. We extend this concept by adding auxiliary tasks, which are of minor relevance for the application, to the set of learned tasks. As a kind of additional regularization, they are expected to boost the performance of the ultimately desired main tasks. To study the proposed approach, we picked vision-based road scene understanding (RSU) as an exemplary application. Since multi-task learning requires specialized datasets, particularly when using extensive sets of tasks, we provide a multi-modal dataset for multi-task RSU, called synMT. More than 2.5 $\cdot$ 10^5 synthetic images, annotated with 21 different labels, were acquired from the video game Grand Theft Auto V (GTA V). Our proposed deep multi-task CNN architecture was trained on various combination of tasks using synMT. The experiments confirmed that auxiliary tasks can indeed boost network performance, both in terms of final results and training time.

研究动机与目标

• 从单幅图像解决多任务视觉任务的多任务学习动机。
• 引入易于学习的辅助任务，为主任务性能提供正则化。
• 开发一个带有多样标签的合成多任务 RSU 数据集（synMT）用于实验。
• 提出一个带可学习任务权重和正则化项的多任务损失以稳定训练。

提出的方法

• 扩展带有任务权重 c_τ 的多任务损失以及正则化项 R(c_τ)，以防止简单解（L_T = sum_τ (1/(2 c_τ^2)) L_τ + log(1 + c_τ^2)。
• 采用基于 DeepLab/ResNet 的编码-解码 CNN 架构，具有针对 SIDE 和语义分割的任务特定解码器，以及用于时间与天气的辅助分支。
• 使用非线性、缩放的深度损失 r(d) = 1 - log(d)/log(1000)，以强调近场深度精度。
• 将时间建模为循环回归损失（最小化循环时间距离），将天气建模为分类损失；在 synMT 上使用 Adam 和小批量大小进行训练。

实验结果

研究问题

• RQ1 辅助任务是否能在道路场景理解的多任务 CNN 中提升主任务性能？
• RQ2 哪些辅助任务是有效的正则化，以及它们如何影响训练收敛？
• RQ3 合成多任务 RSU 数据集是否提供可迁移到真实数据的见解？
• RQ4 在深度、分割、时间和天气预测方面，包含辅助任务的影响如何？
• RQ5 在训练过程中应如何管理任务权重 c_τ 以避免简单解？

主要发现

• 辅助任务可以提高主任务性能并加速收敛，相较于标准多任务设置。
• 在包括 WEATHER 的天气辅助任务时，深度估计受益最大，显著优于一些基线。
• 语义分割在多任务设置中往往并未改进，表明辅助任务的收益因任务而异。
• 带辅助任务的学习能加速优化，在中间训练阶段表现为更快的收敛。
• 四任务设置（主任务加上两个辅助任务）可以学习出一个泛化到四个任务的表示，但需要谨慎选择辅助任务。