[论文解读] MTL-NAS: Task-Agnostic Neural Architecture Search towards General-Purpose Multi-Task Learning

Yuan Gao, Haoping Bai+4 more|arXiv (Cornell University)|Mar 31, 2020

Domain Adaptation and Few-Shot Learning参考文献 72被引用 9

一句话总结

MTL-NAS 提出了一种用于通用多任务学习（GP-MTL）的、与任务无关的神经架构搜索框架，通过将特定任务的主干网络与分层的、逐层的特征融合机制解耦，实现了高效搜索。该方法在跨任务连接上构建统一的搜索空间，并采用单次采样梯度搜索结合最小熵正则化，实现无需微调即可直接部署搜索到的架构，在多种任务组合与主干网络上均达到最先进性能。

ABSTRACT

We propose to incorporate neural architecture search (NAS) into general-purpose multi-task learning (GP-MTL). Existing NAS methods typically define different search spaces according to different tasks. In order to adapt to different task combinations (i.e., task sets), we disentangle the GP-MTL networks into single-task backbones (optionally encode the task priors), and a hierarchical and layerwise features sharing/fusing scheme across them. This enables us to design a novel and general task-agnostic search space, which inserts cross-task edges (i.e., feature fusion connections) into fixed single-task network backbones. Moreover, we also propose a novel single-shot gradient-based search algorithm that closes the performance gap between the searched architectures and the final evaluation architecture. This is realized with a minimum entropy regularization on the architecture weights during the search phase, which makes the architecture weights converge to near-discrete values and therefore achieves a single model. As a result, our searched model can be directly used for evaluation without (re-)training from scratch. We perform extensive experiments using different single-task backbones on various task sets, demonstrating the promising performance obtained by exploiting the hierarchical and layerwise features, as well as the desirable generalizability to different i) task sets and ii) single-task backbones. The code of our paper is available at https://github.com/bhpfelix/MTLNAS.

研究动机与目标

• 为解决现有 NAS 方法局限于特定任务且不兼容通用多任务学习（GP-MTL）的局限性。
• 在 GP-MTL 中将任务先验与特征共享/融合机制解耦，以实现统一的、与任务无关的搜索空间。
• 通过最小化架构权重的不确定性，缩小单次 NAS 中搜索阶段与评估阶段之间的性能差距。
• 实现无需微调即可直接部署搜索到的架构，从而提升效率与实用性。

提出的方法

• 将 GP-MTL 解耦为固定的、特定任务的单任务主干网络，以及跨主干网络的通用、分层的、逐层特征融合方案。
• 通过在固定主干网络层之间插入可学习的跨任务连接（特征融合连接），定义与任务无关的搜索空间。
• 提出一种单次采样梯度搜索算法，并在架构权重上引入最小熵正则化，以促进其收敛至接近离散的取值。
• 在统一框架内引入确定性或随机性的连续松弛与离散化组件，以推广 DARTS 与 SNAS。
• 通过熵最小化降低架构权重的不确定性，确保搜索后获得稳定且高性能的离散架构。
• 实现对搜索到的架构的直接评估，无需从头开始微调，显著降低推理成本。

实验结果

研究问题

• RQ1 能否为多任务学习设计一个统一的、与任务无关的搜索空间，以支持任意任务组合？
• RQ2 在单次 NAS 中，如何缩小搜索阶段与最终评估阶段之间的性能差距？
• RQ3 熵最小化能否有效正则化架构权重，实现接近离散的解而无需微调？
• RQ4 所提方法在 GP-MTL 中是否对不同的单任务主干网络与任务组合具有泛化能力？
• RQ5 所搜索到的架构能否在不微调的情况下直接部署用于评估，同时保持高性能？

主要发现

• 该方法在多个任务组合上实现了最先进性能，包括表面法线预测与语义分割任务，在 Cityscapes 数据集上 mIoU 达 88.2%，PAcc 达 91.2%。
• 最小熵正则化有效正则化了架构权重，使大多数 α 值收敛至 0 或 1，如收敛后 α 值的直方图所示。
• 该方法成功缩小了搜索与评估阶段的性能差距：在不微调的情况下，所搜索架构在 Cityscapes 数据集上实现了 37.7% 的平均 IoU 与 67.9% 的 mIoU。
• 在熵正则化下，不同组合的确定性与随机性组件（松弛与离散化）产生的性能差异可忽略不计，表明方法具有鲁棒性与稳定性。
• 所学习到的架构具有异质性与非对称性，表明其难以通过人工方式发现，验证了该方法发现复杂且高效结构的能力。
• 消融实验表明，最小熵正则化在所有连续松弛与离散化配置下均显著提升性能，优于 DARTS 与 SNAS。