[论文解读] AgEBO-Tabular: Joint Neural Architecture and Hyperparameter Search with Autotuned Data-Parallel Training for Tabular Data

Romain Égelé, Prasanna Balaprakash+3 more|arXiv (Cornell University)|Oct 30, 2020

Machine Learning and Data Classification参考文献 30被引用 6

一句话总结

AgEBO-Tabular 提出了一种联合神经架构搜索（NAS）与超参数搜索（HPS）的框架，结合老化进化（AgE）进行架构搜索，以及异步贝叶斯优化（BO）自动调优数据并行训练超参数（如初始学习率、批量大小）。该方法显著减少了每种架构的训练时间，同时在大规模表格数据集上提升了模型准确率，优于当前最先进的 AutoML 方法，在准确率与推理速度方面均表现更优。

ABSTRACT

Developing high-performing predictive models for large tabular data sets is a challenging task. The state-of-the-art methods are based on expert-developed model ensembles from different supervised learning methods. Recently, automated machine learning (AutoML) is emerging as a promising approach to automate predictive model development. Neural architecture search (NAS) is an AutoML approach that generates and evaluates multiple neural network architectures concurrently and improves the accuracy of the generated models iteratively. A key issue in NAS, particularly for large data sets, is the large computation time required to evaluate each generated architecture. While data-parallel training is a promising approach that can address this issue, its use within NAS is difficult. For different data sets, the data-parallel training settings such as the number of parallel processes, learning rate, and batch size need to be adapted to achieve high accuracy and reduction in training time. To that end, we have developed AgEBO-Tabular, an approach to combine aging evolution (AgE), a parallel NAS method that searches over neural architecture space, and an asynchronous Bayesian optimization method for tuning the hyperparameters of the data-parallel training simultaneously. We demonstrate the efficacy of the proposed method to generate high-performing neural network models for large tabular benchmark data sets. Furthermore, we demonstrate that the automatically discovered neural network models using our method outperform the state-of-the-art AutoML ensemble models in inference speed by two orders of magnitude while reaching similar accuracy values.

研究动机与目标

• 为解决在大规模表格数据集上进行 NAS 时神经架构评估的高计算成本问题。
• 通过联合优化神经架构与数据并行训练超参数，提升训练效率与模型准确率。
• 通过自适应、自动调优的数据并行化，减少单个 NAS 方法中训练时间的瓶颈。
• 开发一种可扩展、可泛化的框架，在大规模表格基准测试中超越现有 AutoML 方法。
• 展示在贝叶斯优化中采用更强的开发策略，可显著减少人工干预，加速 NAS 过程。

提出的方法

• 采用老化进化（AgE）生成并演化包含跳跃连接与多输入支持的全连接神经网络架构群体。
• 引入异步贝叶斯优化（BO）自动调优数据并行训练超参数，包括初始学习率、批量大小与梯度累积步数。
• 使用专为表格数据设计的搜索空间，支持包含跳跃连接与多输入分支的架构。
• 在 BO 中应用连续减半策略，将更多资源分配给有前景的配置，提升样本效率。
• 利用多节点之间的数据并行训练，通过 BO 调优超参数，防止因简单并行化导致的准确率下降。
• 在流水线中结合 AgE 与 BO，使架构搜索与超参数调优以联合、异步的方式协同优化。

实验结果

研究问题

• RQ1 联合神经架构与超参数搜索，并结合自动调优的数据并行训练，是否能提升大规模表格数据集上的模型准确率并减少训练时间？
• RQ2 与固定或启发式配置相比，自动调优数据并行训练超参数对模型性能有何影响？
• RQ3 在贝叶斯优化中采用更强的开发策略，是否能加速 NAS 中高性能模型的发现？
• RQ4 AgEBO-Tabular 与 AutoGluon 和 Auto-PyTorch 等最先进的 AutoML 框架相比，在准确率与推理时间方面表现如何？
• RQ5 AgEBO-Tabular 的性能在多大程度上依赖于数据集特定的超参数调优？

主要发现

• AgEBO-Tabular 在两个大规模 ECP-CANDLE 表格数据集上发现的神经网络模型，在准确率与训练时间方面均优于当前最先进的手工设计模型。
• 与使用固定配置的简单数据并行训练相比，自动调优数据并行训练超参数显著提升了模型准确率。
• 通过采用具有强开发能力的异步 BO，实现了更快的收敛速度与更高的样本效率，减少了对广泛探索的需求。
• 尽管在准确率上达到或优于竞争模型，AgEBO-Tabular 在相同基准数据集上的推理速度优于 AutoGluon 与 Auto-PyTorch。
• 表现最佳的配置需要针对数据集进行特定的超参数调优，表明“一刀切”式的设置并非最优。
• 该框架具有良好的泛化能力，不仅适用于 NVIDIA GPU，还可通过少量修改适配 CPU 集群或混合平台。