[论文解读] AutoML-GPT: Automatic Machine Learning with GPT

Shujian Zhang, Chengyue Gong+3 more|arXiv (Cornell University)|May 4, 2023

Topic Modeling被引用 26

一句话总结

AutoML-GPT 使用基于 GPT 的控制器，通过任务和数据卡提示自动运行数据处理、模型设计和超参数调整，从而实现端到端的 AutoML，覆盖视觉、NLP 等领域。它通过预测训练日志和超参数，在未见数据集和多任务上实现强结果。

ABSTRACT

AI tasks encompass a wide range of domains and fields. While numerous AI models have been designed for specific tasks and applications, they often require considerable human efforts in finding the right model architecture, optimization algorithm, and hyperparameters. Recent advances in large language models (LLMs) like ChatGPT show remarkable capabilities in various aspects of reasoning, comprehension, and interaction. Consequently, we propose developing task-oriented prompts and automatically utilizing LLMs to automate the training pipeline. To implement this concept, we present the AutoML-GPT, which employs GPT as the bridge to diverse AI models and dynamically trains models with optimized hyperparameters. AutoML-GPT dynamically takes user requests from the model and data cards and composes the corresponding prompt paragraph. Ultimately, with this prompt paragraph, AutoML-GPT will automatically conduct the experiments from data processing to model architecture, hyperparameter tuning, and predicted training log. By leveraging {\ours}'s robust language capabilities and the available AI models, AutoML-GPT can tackle numerous intricate AI tasks across various tasks and datasets. This approach achieves remarkable results in computer vision, natural language processing, and other challenging areas. Extensive experiments and ablation studies demonstrate that our method can be general, effective, and beneficial for many AI tasks.

研究动机与目标

• 通过大语言模型（LLMs）激励对 ML 流水线的自动训练，以减少在模型选择和超参数调优方面的人力投入。
• 提出一种基于提示的 AutoML 流水线，利用数据卡和模型卡作为结构化输入。
• 展示端到端的 AutoML 性能，覆盖视觉、NLP 与分类任务，包括未见数据集。

提出的方法

• 通过融合模型卡和数据卡，定义一个固定格式的输入提示段落。
• 将 LLM 作为控制器来编排数据处理、体系结构设计、超参数调优与训练日志生成。
• 从生成的提示中预测训练日志和超参数，以指导后续实验和用户交互。
• 利用文本编码器对数据卡之间的相似性来将超参数转移到未见数据集。
• 在多任务上评估 AutoML-GPT，并报告调优结果和预测日志。

Figure 1 : Overview of AutoML-GPT. Some notations are labeled along with corresponding components. ‘Eval Metrics & Add’ refers to the evaluation metrics and additional requests.

实验结果

研究问题

• RQ1 基于 GPT 的提示是否能够自动配置多样化任务的数据处理、模型架构和超参数？
• RQ2 仅使用数据集元数据（数据卡），AutoML-GPT 能否对未见数据集进行良好泛化？
• RQ3 在视觉、问答（QA）和分类任务中，超参数预测的准确性及其所带来的模型性能如何？

主要发现

• 在未见数据集上，AutoML-GPT 对最佳预测的超参数实现 98% 的 Top-1 准确率，而使用随机选择的超参数则为 80%。
• 使用 AutoML-GPT 的超参数初始化模型可获得 82% 的 Top-1 准确率，优于随机初始化，但低于最佳 AutoML-GPT 配置。
• 在 UCI Adult 的分类任务中，使用 XGBoost 的 AutoML-GPT 基于训练达到 85.92% 的准确率，最终验证损失为 0.277。
• COCO 的目标检测案例演示了从 data/card 提示到超参数调优与训练日志生成的端到端流水线。

Figure 2 : The Data Card includes the data name, input data type, label space, and evaluation metric. Within the data card, the same color denotes information originating from a single dataset.