[论文解读] HyperSTAR: Task-Aware Hyperparameters for Deep Networks

Gaurav Mittal, Chang Liu+4 more|arXiv (Cornell University)|May 21, 2020

Advanced Neural Network Applications参考文献 47被引用 4

一句话总结

HyperSTAR 是一种任务感知的超参数优化框架，通过从原始图像中学习数据集与超参数的联合表征，推荐高性能的配置。通过端到端训练模型以预测未见任务的性能，HyperSTAR 将 HPO 搜索时间减少 50%，并使 Hyperband 在仅需原始方法或贝叶斯优化变体所需 25% 的预算下达到最优准确率。

ABSTRACT

While deep neural networks excel in solving visual recognition tasks, they require significant effort to find hyperparameters that make them work optimally. Hyperparameter Optimization (HPO) approaches have automated the process of finding good hyperparameters but they do not adapt to a given task (task-agnostic), making them computationally inefficient. To reduce HPO time, we present HyperSTAR (System for Task Aware Hyperparameter Recommendation), a task-aware method to warm-start HPO for deep neural networks. HyperSTAR ranks and recommends hyperparameters by predicting their performance conditioned on a joint dataset-hyperparameter space. It learns a dataset (task) representation along with the performance predictor directly from raw images in an end-to-end fashion. The recommendations, when integrated with an existing HPO method, make it task-aware and significantly reduce the time to achieve optimal performance. We conduct extensive experiments on 10 publicly available large-scale image classification datasets over two different network architectures, validating that HyperSTAR evaluates 50% less configurations to achieve the best performance compared to existing methods. We further demonstrate that HyperSTAR makes Hyperband (HB) task-aware, achieving the optimal accuracy in just 25% of the budget required by both vanilla HB and Bayesian Optimized HB~(BOHB).

研究动机与目标

• 为解决任务无关的超参数优化（HPO）方法效率低下问题，这些方法对所有数据集一视同仁，而不论其视觉特征如何。
• 开发一种方法，利用原始图像中的视觉先验，学习数据集与超参数的联合表征，以提升 HPO 的效率。
• 通过推荐针对当前特定任务量身定制的高性能超参数配置，实现对现有 HPO 算法的热启动。
• 在显著减少评估配置数量的同时实现最优性能，尤其是在计算预算严格受限的情况下。

提出的方法

• HyperSTAR 使用深度神经网络以端到端方式直接从原始训练图像中学习任务表征。
• 它联合训练一个性能预测器，基于学习到的任务表征来估计给定超参数配置的准确率。
• 该方法采用元学习框架，包含两个阶段：在多样化历史数据集上进行离线元学习，以及针对新出现的未见数据集进行在线推荐。
• HyperSTAR 根据预测性能对超参数配置进行排序，从而在 Hyperband 等 HPO 流程中实现优先级排序。
• 该框架通过用任务感知的候选配置排序替代现有 HPO 方法中的随机或均匀采样，实现与现有 HPO 方法的集成。
• 它利用对比学习目标，对相似数据集的表征进行对齐，以提升跨任务的泛化能力。

实验结果

研究问题

• RQ1 模型能否仅基于原始图像，而不依赖手工设计的元特征，预测新图像分类任务的最优超参数配置？
• RQ2 数据集与超参数的联合表征在提升超参数优化效率方面有多有效？
• RQ3 HyperSTAR 在保持或提升最终模型准确率的前提下，能在多大程度上减少评估的配置数量？
• RQ4 HyperSTAR 能否用于加速最先进的 HPO 算法（如 Hyperband），尤其是在低预算设置下？

主要发现

• 与最先进方法相比，HyperSTAR 在 10 个大规模图像分类数据集上实现了相同的最优 Top-1 准确率，同时将评估的超参数配置数量减少了 50%。
• 当与 Hyperband 集成时，HyperSTAR 仅需原始 Hyperband 和贝叶斯优化 Hyperband（BOHB）所需预算的 25% 即可达到最优性能。
• 在最小预算设置（100 个周期）下，基于 HyperSTAR 的 Hyperband 平均比原始 HB 和 BOHB 提高 1.5% 的 Top-1 准确率。
• 该方法在效率上优于 Tr-AutoML，通过从原始像素学习而非依赖数据集分组，在 10 倍更低的评估预算下实现了相当的性能。
• 随着预算增加，HyperSTAR 与基线方法之间的性能差距逐渐缩小，表明 HyperSTAR 在大预算条件下依然高效且有效。
• 消融实验确认，端到端学习数据集-超参数联合表征对于强泛化能力和推荐质量至关重要。