[论文解读] Fast Task-Aware Architecture Inference

Efi Kokiopoulou, Anja Hauth+4 more|arXiv (Cornell University)|Feb 15, 2019

Advanced Neural Network Applications参考文献 21被引用 10

一句话总结

该论文提出了一种基于梯度的、任务感知的架构推理框架，通过直接从原始数据中学习的元特征来预测跨任务的模型性能。通过在先前训练实验上训练深度价值网络，该方法实现了无需在新任务上训练任何模型的快速、零样本架构搜索，性能接近昂贵的NAS基线方法，展示了在多样化任务上的高效率和强泛化能力。

ABSTRACT

Neural architecture search has been shown to hold great promise towards the automation of deep learning. However in spite of its potential, neural architecture search remains quite costly. To this point, we propose a novel gradient-based framework for efficient architecture search by sharing information across several tasks. We start by training many model architectures on several related (training) tasks. When a new unseen task is presented, the framework performs architecture inference in order to quickly identify a good candidate architecture, before any model is trained on the new task. At the core of our framework lies a deep value network that can predict the performance of input architectures on a task by utilizing task meta-features and the previous model training experiments performed on related tasks. We adopt a continuous parametrization of the model architecture which allows for efficient gradient-based optimization. Given a new task, an effective architecture is quickly identified by maximizing the estimated performance with respect to the model architecture parameters with simple gradient ascent. It is key to point out that our goal is to achieve reasonable performance at the lowest cost. We provide experimental results showing the effectiveness of the framework despite its high computational efficiency.

研究动机与目标

• 为解决在云机器学习服务等资源受限环境中神经架构搜索（NAS）带来的高计算成本问题。
• 实现在新任务上无需在目标数据上训练任何模型的快速、高效架构推理。
• 直接从原始数据样本中学习任务元特征，而非依赖预计算的特征。
• 通过从先前训练实验中迁移知识，将架构搜索成本分摊到多个任务上。
• 开发一种可扩展的、可微分的端到端架构搜索框架，采用连续参数化和梯度优化。

提出的方法

• 训练一个深度价值网络，利用元特征和相关任务的先前训练结果，预测候选架构在给定任务上的性能。
• 元特征通过价值网络中的神经网络组件，从原始任务数据样本端到端学习，消除了对手工设计特征的依赖。
• 对模型架构进行连续参数化，以支持可微分优化，从而实现高效的基于梯度的搜索。
• 对于新任务，框架在架构参数上执行梯度上升，以最大化价值网络预测的性能。
• 在线阶段无需训练子模型；架构推理完全通过价值网络和梯度优化完成。
• 该框架采用两阶段设置：离线阶段用于在历史数据上训练价值网络，线上阶段用于为新任务推理架构。

实验结果

研究问题

• RQ1 在先前训练实验上训练的深度价值网络能否以高精度预测新任务上的架构性能？
• RQ2 直接从原始数据中学习的元特征相比预计算的特征，在性能预测方面能带来多大程度的提升？
• RQ3 在连续空间中基于梯度的架构搜索在不训练目标任务模型的情况下，识别高性能模型的效率如何？
• RQ4 零样本架构推理在测试准确率方面能多接近NAS性能？
• RQ5 跨多个任务的知识迁移是否能显著降低架构搜索成本，同时保持高性能？

主要发现

• 尽管在新任务上未进行任何训练，该方法在11个多样化NLP任务上的测试准确率均与NAS基线相差1-3%，表现出色。
• 预测性能与实际性能之间的Spearman等级相关系数在大多数任务上约为0.8，表明具有强大的预测能力。
• 性能预测的R2指标在0.6至0.8之间，证实了价值网络在跨任务上的泛化能力。
• 引入学习到的元特征后，Spearman rho和R2指标均得到提升，证明其在性能估计中的价值。
• 在所有任务中，该方法找到的最佳架构性能均优于NAS尝试前10个模型的平均性能，表明其具有极强的样本效率。
• 该框架在极低计算成本下实现了高性能，因为其在线阶段无需任何子模型训练。