[论文解读] Learning Versatile Neural Architectures by Propagating Network Codes

Mingyu Ding, Yuqi Huo+6 more|arXiv (Cornell University)|Mar 24, 2021

Advanced Neural Network Applications参考文献 55被引用 8

一句话总结

本文提出网络编码传播（NCP），一种新颖的神经架构搜索方法，通过反向传播梯度穿过学习到的神经预测器，直接更新架构编码，从而在多个异构视觉任务上优化多功能神经架构。NCP 使图像分割、3D 检测和视频识别等任务的联合搜索在数秒内完成，在自定义（NAS-Bench-MR）和标准基准（NAS-Bench-201）上均达到最先进性能，且在任务间具有强大的可迁移性。

ABSTRACT

This work explores how to design a single neural network capable of adapting to multiple heterogeneous vision tasks, such as image segmentation, 3D detection, and video recognition. This goal is challenging because both network architecture search (NAS) spaces and methods in different tasks are inconsistent. We solve this challenge from both sides. We first introduce a unified design space for multiple tasks and build a multitask NAS benchmark (NAS-Bench-MR) on many widely used datasets, including ImageNet, Cityscapes, KITTI, and HMDB51. We further propose Network Coding Propagation (NCP), which back-propagates gradients of neural predictors to directly update architecture codes along the desired gradient directions to solve various tasks. In this way, optimal architecture configurations can be found by NCP in our large search space in seconds. Unlike prior arts of NAS that typically focus on a single task, NCP has several unique benefits. (1) NCP transforms architecture optimization from data-driven to architecture-driven, enabling joint search an architecture among multitasks with different data distributions. (2) NCP learns from network codes but not original data, enabling it to update the architecture efficiently across datasets. (3) In addition to our NAS-Bench-MR, NCP performs well on other NAS benchmarks, such as NAS-Bench-201. (4) Thorough studies of NCP on inter-, cross-, and intra-tasks highlight the importance of cross-task neural architecture design, i.e., multitask neural architectures and architecture transferring between different tasks. Code is available at https://github.com/dingmyu/NCP.

研究动机与目标

• 设计一个统一的神经架构搜索空间，能够支持具有不同数据分布和特征粒度需求的多种异构视觉任务。
• 通过在多样化任务间实现联合优化，解决多任务神经架构搜索中的任务与数据集不一致问题。
• 开发一种方法，高效地在无需为每个任务重新训练或重复搜索的前提下，跨任务搜索多功能架构。
• 通过利用共享网络编码和多任务预测器学习，促进任务间的架构迁移。
• 通过引入 NAS-Bench-MR（基于 ImageNet、Cityscapes、KITTI 和 HMDB51 的实际基准），弥合现有 NAS 基准与真实世界多任务场景之间的差距。

提出的方法

• 将所有网络超参数表示为离散编码（例如，“3,2,64”表示 3 个模块、每个模块 2 个残差单元、64 个通道），形成用于多任务搜索的统一编码空间。
• 训练特定任务的神经预测器，将网络编码映射到性能指标（如准确率、mIoU、FLOPs）以对应每个任务。
• 从神经预测器反向传播梯度至架构编码，直接优化编码以满足目标性能约束（如高准确率、低 FLOPs）。
• 在编码空间中使用基于梯度的优化方法，高效遍历大规模搜索空间，实现在数秒内收敛。
• 通过在一个任务的编码初始化并利用另一任务的预测器进行微调，实现跨任务的架构迁移。
• 将多任务目标表述为多个预测器之间的梯度累积，从而实现对冲突目标（如准确率与效率）的同时优化。

实验结果

研究问题

• RQ1 能否在一个具有不同数据分布和表征需求的多种异构视觉任务上，有效优化单一神经架构？
• RQ2 如何在不为每个任务重新运行搜索过程的前提下，使架构搜索在多样化任务上实现高效且可扩展？
• RQ3 在极少重训练的情况下，从一个任务中学到的架构编码在另一任务上的可迁移程度如何？
• RQ4 统一搜索空间的设计在多任务架构的泛化能力和性能方面发挥何种作用？
• RQ5 在编码空间中基于梯度的优化在实现多任务间快速、架构驱动型搜索方面起到何种作用？

主要发现

• NCP 通过在神经预测器中反向传播梯度直接优化网络编码，在数秒内实现最优架构配置，绕过了依赖数据的搜索过程。
• 所提出的 NAS-Bench-MR 基准支持在 ImageNet、Cityscapes、KITTI 和 HMDB51 等真实数据集上的实际、大规模多任务 NAS。
• NCP 展现出强大的可迁移性：仅使用目标任务的预测器进行几次迭代即可将架构适配至新任务。
• 不同任务的架构编码呈现出明显差异模式——例如，分割模型在阶段 4 的第 4 个分支增加通道宽度，而分类模型则减少该值。
• 该方法在 NAS-Bench-201 上达到最先进性能，并在多任务和迁移学习场景中优于先前的 NAS 方法。
• 可视化结果表明，不同任务的模型设计存在显著差异：分割任务偏好更多融合模块和更少并行单元，而视频识别任务则保持中等通道配置。