[论文解读] AutoHAS: Differentiable Hyper-parameter and Architecture Search.

Xuanyi Dong, Mingxing Tan+4 more|arXiv (Cornell University)|Jun 5, 2020

Advanced Neural Network Applications参考文献 44被引用 17

一句话总结

AutoHAS 通过将连续超参数建模为类别基向量的线性组合，提出了一种可微分方法，以联合搜索最优神经网络架构和超参数，实现了所有配置间的高效参数共享。其在 ImageNet 上实现了最高 2% 的准确率提升，在 SQuAD 1.1 上实现了 0.4 的 F1 分数改进，且搜索成本与训练单个模型相当，相比随机搜索和贝叶斯优化，计算效率高出 10 倍。

ABSTRACT

Neural Architecture Search (NAS) has achieved significant progress in pushing state-of-the-art performance. While previous NAS methods search for different network architectures with the same hyper-parameters, we argue that such search would lead to sub-optimal results. We empirically observe that different architectures tend to favor their own hyper-parameters. In this work, we extend NAS to a broader and more practical space by combining hyper-parameter and architecture search. As architecture choices are often categorical whereas hyper-parameter choices are often continuous, a critical challenge here is how to handle these two types of values in a joint search space. To tackle this challenge, we propose AutoHAS, a differentiable hyper-parameter and architecture search approach, with the idea of discretizing the continuous space into a linear combination of multiple categorical basis. A key element of AutoHAS is the use of weight sharing across all architectures and hyper-parameters which enables efficient search over the large joint search space. Experimental results on MobileNet/ResNet/EfficientNet/BERT show that AutoHAS significantly improves accuracy up to 2% on ImageNet and F1 score up to 0.4 on SQuAD 1.1, with search cost comparable to training a single model. Compared to other AutoML methods, such as random search or Bayesian methods, AutoHAS can achieve better accuracy with 10x less compute cost.

研究动机与目标

• 为解决先前 NAS 方法在不同架构间固定超参数所导致的性能次优问题。
• 在统一的可微分框架中实现对离散架构和连续超参数的联合搜索。
• 将搜索成本降低至接近单个模型训练水平，同时保持高准确率提升。
• 通过联合优化架构与超参数，提升视觉与 NLP 基准上的模型性能。
• 开发一种方法，通过参数共享与可微分操作，高效探索架构与超参数的庞大联合搜索空间。

提出的方法

• AutoHAS 将连续超参数空间离散化为类别基向量的线性组合，从而实现对连续与离散搜索空间的可微分优化。
• 其将联合搜索空间建模为架构选择（类别型）与超参数（连续型）的组合，通过可微分松弛实现基于梯度的优化。
• 该方法在所有架构与超参数配置间实施参数共享，显著降低了联合空间评估的计算成本。
• 通过架构空间的连续松弛执行可微分架构搜索，同时通过基向量系数的梯度下降优化超参数。
• 该方法采用单一可微分搜索过程，通过端到端反向传播联合优化架构与超参数。
• 最终模型从可微分搜索过程中找到的最佳架构-超参数配置中选取。

实验结果

研究问题

• RQ1 联合优化神经架构与超参数是否能带来优于独立优化或固定超参数 NAS 的模型性能？
• RQ2 如何有效将连续超参数整合进同时处理类别型架构选择的可微分搜索框架？
• RQ3 联合架构与超参数搜索的计算成本是多少？是否可降低至接近单个模型训练水平？
• RQ4 在超参数与架构搜索中，AutoHAS 相较于随机搜索与贝叶斯优化，在准确率与效率方面表现如何？
• RQ5 不同架构在多大程度上受益于特定的超参数配置？该关系能否在统一搜索空间中被捕捉？

主要发现

• 与固定超参数的常规 NAS 方法相比，AutoHAS 在 ImageNet 上实现了最高 2% 的 top-1 准确率提升。
• 在 SQuAD 1.1 基准上，AutoHAS 相较基线模型实现了 0.4 的 F1 分数绝对提升。
• 该方法以接近训练单个模型的搜索成本实现这些性能提升，展现出极高的效率。
• 相比随机搜索与贝叶斯优化，AutoHAS 将所需计算量降低 10 倍，同时获得更高的准确率。
• 联合搜索空间使架构能够发现针对其结构量身定制的超参数，从而提升泛化能力。
• 所有配置间的参数共享实现了对庞大联合搜索空间的可扩展且高效的探索，且无显著开销。