[论文解读] VEGA: Towards an End-to-End Configurable AutoML Pipeline

Bochao Wang, Hang Xu+22 more|arXiv (Cornell University)|Nov 3, 2020

Machine Learning and Data Classification参考文献 52被引用 6

一句话总结

VEGA 是一个端到端、可配置的 AutoML 框架，整合了神经架构搜索（NAS）、超参数优化（HPO）、数据增强、模型压缩和完整训练，形成统一的流水线。它采用细粒度的搜索空间描述语言和统一的后端接口，实现跨算法和跨平台的兼容性，达到 SOTA 性能——例如，在 ImageNet 上，VEGA 搜索得到的 DNet 模型在 Ascend 上比 EfficientNet-B5 快 3.5 倍，比 RegNetX-32GF 快 9.2 倍。

ABSTRACT

Automated Machine Learning (AutoML) is an important industrial solution for automatic discovery and deployment of the machine learning models. However, designing an integrated AutoML system faces four great challenges of configurability, scalability, integrability, and platform diversity. In this work, we present VEGA, an efficient and comprehensive AutoML framework that is compatible and optimized for multiple hardware platforms. a) The VEGA pipeline integrates various modules of AutoML, including Neural Architecture Search (NAS), Hyperparameter Optimization (HPO), Auto Data Augmentation, Model Compression, and Fully Train. b) To support a variety of search algorithms and tasks, we design a novel fine-grained search space and its description language to enable easy adaptation to different search algorithms and tasks. c) We abstract the common components of deep learning frameworks into a unified interface. VEGA can be executed with multiple back-ends and hardwares. Extensive benchmark experiments on multiple tasks demonstrate that VEGA can improve the existing AutoML algorithms and discover new high-performance models against SOTA methods, e.g. the searched DNet model zoo for Ascend 10x faster than EfficientNet-B5 and 9.2x faster than RegNetX-32GF on ImageNet. VEGA is open-sourced at https://github.com/huawei-noah/vega.

研究动机与目标

• 解决现有 AutoML 系统在集成性、可配置性和可扩展性方面的不足，支持多种算法和硬件平台。
• 通过将关键模块（NAS、HPO、数据增强、模型压缩）统一到单一流水线中，克服单体或点状解决方案在 AutoML 中的局限性。
• 实现灵活、细粒度的搜索空间配置，独立于特定搜索算法，以提升可重用性和可扩展性。
• 通过统一的接口抽象，支持在多种硬件平台（CPU、GPU、Ascend）和深度学习框架（PyTorch、TensorFlow、MindSpore）上的部署。
• 提供可扩展的分布式搜索系统，以高效管理计算密集型的 AutoML 工作负载。

提出的方法

• 设计模块化流水线架构，将每个 AutoML 组件（NAS、HPO、数据增强、压缩、训练）实现为可配置的管道步骤。
• 引入细粒度的搜索空间描述语言，将搜索空间定义与搜索算法解耦，支持在 DARTS 和基于采样的 NAS 等不同 NAS 方法间复用。
• 将通用的训练和模型操作组件抽象为统一的训练器接口，实现与 PyTorch、TensorFlow 和 MindSpore 的后端互操作性。
• 实现分布式任务管理系统，用于处理计算密集型 AutoML 工作负载（如 BOHB、基于 EA 的 NAS）的任务分发与结果聚合。
• 通过 ONNX 集成模型转换，支持跨平台部署，并从目标设备收集反馈。
• 通过 YML 文件配置实现端到端的模型优化，支持流水线步骤的顺序执行，实现完全的灵活性。

实验结果

研究问题

• RQ1 如何在一个单一的 AutoML 框架中高效集成多个核心模块——NAS、HPO、数据增强、模型压缩——形成统一且可组合的流水线？
• RQ2 细粒度的、与算法无关的搜索空间描述语言是否能实现对多种搜索算法和任务的无缝适应？
• RQ3 统一的后端接口在支持多种深度学习框架和硬件平台（如 GPU、Ascend）时，能在多大程度上保持性能和可配置性而不打折扣？
• RQ4 与独立或顺序的 AutoML 工具相比，该端到端流水线在真实世界基准测试中如何提升模型性能和效率？
• RQ5 该框架是否能在多种任务（图像分类、超分辨率、目标检测、推荐）上实现 SOTA 结果，同时保持可配置性和可扩展性？

主要发现

• 在 ImageNet 上，VEGA 实现了 SOTA 性能，其在 Ascend 上搜索得到的 DNet 模型比 EfficientNet-B5 快 10 倍，比 RegNetX-32GF 快 9.2 倍，同时保持高精度。
• 在 CULane 数据集上的车道线检测任务中，VEGA 搜索得到的模型在 mAP 和推理速度上均优于原始 SOTA 方法 Autolane。
• 在 Urban100 图像超分辨率任务中，VEGA 搜索得到的模型在 PSNR（37.84）更高、FLOPs（40.21G）更低的情况下，优于原始 ESRN-V2 模型。
• 在指纹识别任务中，完整 VEGA 流水线（SM-NAS + ASHA + EA-Pruning）相比基线显著降低了误接受率和误拒绝率。
• VEGA 在 CIFAR-10 上实现的 CARS 方法超越了原始报告的准确率和参数效率，展现出更优的 NAS 性能。
• 该框架在 Avazu 数据集上的点击率预测任务中成功优化了模型，仅需极少的人工调优即达到具有竞争力的性能。