[论文解读] AutoHAS: Efficient Hyperparameter and Architecture Search

Xuanyi Dong, Mingxing Tan+4 more|arXiv (Cornell University)|Jun 5, 2020

Machine Learning and Data Classification参考文献 43被引用 24

一句话总结

AutoHAS 是一种统一且高效的框架，通过参数共享的强化学习方法实现神经网络架构与超参数的联合搜索。它交替优化共享网络权重与一个控制器，该控制器负责采样架构与超参数配置，在 CIFAR-10/100、ImageNet 和 Places365 上实现了最先进的准确率提升——在优化程度较低的模型上最高达 11.4%，在高度优化的模型（如 EfficientNet-B0）上达 0.8%，同时显著降低了内存消耗。

ABSTRACT

Efficient hyperparameter or architecture search methods have shown remarkable results, but each of them is only applicable to searching for either hyperparameters (HPs) or architectures. In this work, we propose a unified pipeline, AutoHAS, to efficiently search for both architectures and hyperparameters. AutoHAS learns to alternately update the shared network weights and a reinforcement learning (RL) controller, which learns the probability distribution for the architecture candidates and HP candidates. A temporary weight is introduced to store the updated weight from the selected HPs (by the controller), and a validation accuracy based on this temporary weight serves as a reward to update the controller. In experiments, we show AutoHAS is efficient and generalizable to different search spaces, baselines and datasets. In particular, AutoHAS can improve the accuracy over popular network architectures, such as ResNet and EfficientNet, on CIFAR-10/100, ImageNet, and four more other datasets.

研究动机与目标

• 为解决现有方法在仅处理架构或超参数搜索时效率低下且缺乏通用性的问题。
• 将超参数与架构搜索统一为一个高效且可扩展的单一框架。
• 在保持高准确率提升的同时，降低搜索过程中的内存与计算成本。
• 实现在单一搜索过程中自动发现最优超参数（如初始学习率、Dropout 率、Mixup 参数）与网络架构。
• 将参数共享从仅架构搜索推广至超参数搜索，实现更快收敛与更优初始化。

提出的方法

• AutoHAS 使用一个超级模型，其所有架构与超参数配置共享权重，从而实现无需从头训练的高效训练。
• 采用强化学习控制器采样架构与超参数候选，其选择的概率分布通过策略优化学习得到。
• 引入临时权重以存储特定超参数配置下的模型状态，使验证准确率可作为奖励信号。
• 将连续超参数（如学习率）离散化为类别基向量的线性组合，统一处理分类与连续变量的搜索空间。
• 控制器使用 REINFORCE 算法进行优化，通过每次仅训练超级模型的子集，避免可微搜索方法的高内存开销。
• 将参数共享扩展至架构与超参数双重空间，使共享权重可作为所有后续搜索步骤的强初始化。

实验结果

研究问题

• RQ1 能否设计一个统一框架，高效地同时搜索神经架构与超参数？
• RQ2 与仅处理架构或超参数搜索的现有方法相比，AutoHAS 在效率与准确率上表现如何？
• RQ3 AutoHAS 是否能发现难以手动调优的有益超参数配置（如 DropConnect 比例）？
• RQ4 在架构与超参数空间中同时集成参数共享，是否能带来更好的泛化性与可扩展性？
• RQ5 在大型模型（如 EfficientNet-B0）中，基于 REINFORCE 的搜索相比可微搜索在内存效率上表现如何？

主要发现

• 通过联合架构与超参数搜索，AutoHAS 在高度优化的 EfficientNet-B0 基线基础上，将 ImageNet 的 Top-1 准确率提升了 0.8%。
• 在优化程度较低的 Oxford-Flowers 数据集上，AutoHAS 相较基线模型实现了 11.4% 的准确率提升。
• 在 Places365 上，AutoHAS 将 EfficientNet-B0 的准确率提升了 1%，在单裁剪评估下达到新的 SOTA 结果。
• 与可微搜索方法相比，AutoHAS 将内存消耗降低了 70%，使在 ResNet-50 与 EfficientNet-B0 等大模型上实现可扩展搜索成为可能。
• 该框架自动发现了 EfficientNet-B0 多个层中最优的 DropConnect 比例，这些参数难以手动调优，可视化结果也证实了其非均匀且层相关的最优值。
• AutoHAS 在准确率提升方面与可微搜索方法相当，但内存使用显著更低，使其适用于更大模型与更广的搜索空间。