[论文解读] AutoMTL: A Programming Framework for Automating Efficient Multi-Task Learning

Lijun Zhang, Xiao Liu+1 more|arXiv (Cornell University)|Oct 25, 2021

Advanced Neural Network Applications被引用 5

一句话总结

AutoMTL 是一个编程框架，通过将任意主干卷积神经网络（CNN）编译为具有操作符级别参数共享的多任务超网络，自动实现高效的多任务学习（MTL）。它采用基于梯度的架构搜索并结合正则化，联合优化高任务准确率与低内存占用，在 CityScapes、NYUv2 和 Tiny-Taskonomy 基准测试中表现优于现有最先进方法。

ABSTRACT

Multi-task learning (MTL) jointly learns a set of tasks by sharing parameters among tasks. It is a promising approach for reducing storage costs while improving task accuracy for many computer vision tasks. The effective adoption of MTL faces two main challenges. The first challenge is to determine what parameters to share across tasks to optimize for both memory efficiency and task accuracy. The second challenge is to automatically apply MTL algorithms to an arbitrary CNN backbone without requiring time-consuming manual re-implementation and significant domain expertise. This paper addresses the challenges by developing the first programming framework AutoMTL that automates efficient MTL model development for vision tasks. AutoMTL takes as inputs an arbitrary backbone convolutional neural network (CNN) and a set of tasks to learn, and automatically produces a multi-task model that achieves high accuracy and small memory footprint simultaneously. Experiments on three popular MTL benchmarks (CityScapes, NYUv2, Tiny-Taskonomy) demonstrate the effectiveness of AutoMTL over state-of-the-art approaches as well as the generalizability of AutoMTL across CNNs. AutoMTL is open-sourced and available at https://github.com/zhanglijun95/AutoMTL.

研究动机与目标

• 解决设计资源高效 MTL 架构的挑战，平衡模型大小与任务准确率。
• 消除在更换主干网络时手动重实现 MTL 算法的需求。
• 使普通程序员和实践者无需具备深度学习专业知识即可轻松采用 MTL。
• 通过解耦的自动化编译管道支持任意 CNN 主干网络。
• 提供灵活可扩展的架构搜索空间，以适应任务复杂度与干扰程度。

提出的方法

• 多任务超网络编译器（MTS-Compiler）将用户提供的 CNN 主干网络转换为多任务超网络，将每个操作符视为参数共享的基本单元。
• 使用虚拟计算节点编码可扩展的架构搜索空间，实现根据任务需求动态调整模型容量。
• 通过可微分架构搜索的策略网络，训练以确定跨任务的最优共享模式，同时使用正则化损失控制参数共享程度。
• 正则化超参数 λreg 控制模型紧凑性与任务性能之间的权衡。
• 该框架无需重实现即可支持任意 CNN 主干网络，利用源到源编译方法实现。
• 该方法通过 PyTorch API 实现，支持无缝集成与自动超网络生成，耗时低于 0.6 秒。

实验结果

研究问题

• RQ1 是否存在一种编程框架，能够在无需手动重实现的情况下，自动实现任意 CNN 主干网络上的高效 MTL 模型开发？
• RQ2 操作符级别的参数共享是否能比层级别的共享实现更优的模型大小与任务准确率之间的权衡？
• RQ3 基于编译器的超网络转换是否能将架构搜索与主干网络设计解耦，从而提升可访问性？
• RQ4 可扩展的架构搜索空间在多样化的基准测试与主干网络上的表现如何？
• RQ5 正则化超参数（如 λreg）在多大程度上能够控制学习到的多任务模型中的准确率-紧凑性权衡？

主要发现

• 在使用 MNasNet 的 CityScapes 数据集上，AutoMTL 相较于单任务基线模型，任务准确率分别提升了 +17.1% 和 +13.2%，同时模型参数减少了 35.9%。
• 在 CityScapes 上，AutoMTL 构建的多任务模型相比单任务基线模型参数减少了 33.5%，同时性能相对 MobileNetV2 提升了 7.4%。
• 当 λreg = 0.0005 时，AutoMTL 将模型参数减少至 0.018M（为基线的 33%），同时保持了 70.0% mIoU、86.6% 深度准确率和 93.4% 表面法向准确率。
• 策略可视化显示，语义分割任务比深度估计任务共享了更多的操作符，且深度估计任务中大量使用了跳跃连接，表明不同任务具有特定的紧凑性偏好。
• MTS-Compiler 在约 0.6 秒内即可将任意主干 CNN 编译为超网络，而专家用户手动重实现一种基于 NAS 的 SOTA MTL 方法（Adashare）则需 20 至 40 小时。
• AutoMTL 在 CityScapes、NYUv2 和 Tiny-Taskonomy 上对 MobileNetV2、MNasNet 和 ResNet-18 均表现出良好泛化能力，证明了其广泛适用性。