[논문 리뷰] AutoML-GPT: Automatic Machine Learning with GPT

Shujian Zhang, Chengyue Gong외 3명|arXiv (Cornell University)|2023. 05. 04.

Topic Modeling인용 수 26

한 줄 요약

AutoML-GPT는 GPT 기반 컨트롤러를 사용하여 데이터 처리, 모델 설계, 하이퍼파라미터 튜닝을 작업- 및 데이터 카드 프롬프트를 통해 자동으로 실행하여 비전, NLP 등에서 엔드-투-엔드 AutoML을 가능하게 합니다. 훈련 로그와 하이퍼파라미터를 예측하여 unseen 데이터셋과 여러 작업에서 강력한 결과를 달성합니다.

ABSTRACT

AI tasks encompass a wide range of domains and fields. While numerous AI models have been designed for specific tasks and applications, they often require considerable human efforts in finding the right model architecture, optimization algorithm, and hyperparameters. Recent advances in large language models (LLMs) like ChatGPT show remarkable capabilities in various aspects of reasoning, comprehension, and interaction. Consequently, we propose developing task-oriented prompts and automatically utilizing LLMs to automate the training pipeline. To implement this concept, we present the AutoML-GPT, which employs GPT as the bridge to diverse AI models and dynamically trains models with optimized hyperparameters. AutoML-GPT dynamically takes user requests from the model and data cards and composes the corresponding prompt paragraph. Ultimately, with this prompt paragraph, AutoML-GPT will automatically conduct the experiments from data processing to model architecture, hyperparameter tuning, and predicted training log. By leveraging {\ours}'s robust language capabilities and the available AI models, AutoML-GPT can tackle numerous intricate AI tasks across various tasks and datasets. This approach achieves remarkable results in computer vision, natural language processing, and other challenging areas. Extensive experiments and ablation studies demonstrate that our method can be general, effective, and beneficial for many AI tasks.

연구 동기 및 목표

• 모델 선택과 하이퍼파라미터 튜닝에서 인간의 노력을 줄이기 위해 LLM을 통한 ML 파이프라인의 자동 교육을 동기 부여한다.
• 데이터 카드와 모델 카드를 구조화된 입력으로 활용하는 프롬프트 기반 AutoML 파이프라인을 제안한다.
• 이전에 본 적이 없는 데이터셋을 포함한 비전, NLP 및 분류 작업에서의 엔드-투-엔드 AutoML 성능을 시연한다.

제안 방법

• 모델 카드와 데이터 카드를 결합하여 고정 형식의 입력 프롬프트 단락을 정의한다.
• LLM을 컨트롤러로 사용하여 데이터 처리, 아키텍처 설계, 하이퍼파라미터 튜닝 및 훈련 로그 생성을 조정한다.
• 생성된 프롬프트로부터 훈련 로그와 하이퍼파라미터를 예측하여 후속 실험 및 사용자 상호 작용을 안내한다.
• 텍스트 인코더를 통해 데이터 카드 간 유사성을 활용하여 unseen 데이터셋에 하이퍼파라미터를 전달한다.
• 여러 작업에서 AutoML-GPT를 평가하고 튜닝 결과 및 예측 로그를 보고한다.

Figure 1 : Overview of AutoML-GPT. Some notations are labeled along with corresponding components. ‘Eval Metrics & Add’ refers to the evaluation metrics and additional requests.

실험 결과

연구 질문

• RQ1 GPT 기반 프롬프트가 다양한 작업에 대해 데이터 처리, 모델 아키텍처 및 하이퍼파라미터를 자동으로 구성할 수 있는가?
• RQ2 데이터 카드로만 구성된 데이터세트 메타데이터를 사용하여 AutoML-GPT가 unseen 데이터셋에 얼마나 잘 일반화할 수 있는가?
• RQ3 비전, QA 및 분류 작업에서 하이퍼파라미터 예측 정확도와 그에 따른 모델 성능은 어느 정도인가?

주요 결과

• unseen 데이터셋에서, AutoML-GPT가 최적 예측 하이퍼파라미터의 Top-1 정확도 98%를 달성한 반면 무작위로 선택된 하이퍼파라미터는 80%였다.
• AutoML-GPT 하이퍼파라미터를 이용한 모델 초기화는 Top-1 정확도 82%를 달성하여 무작위 초기화를 능가하지만 최상의 AutoML-GPT 구성보다는 낮다.
• UCI Adult의 분류 작업에서 XGBoost를 사용한 AutoML-GPT 기반 학습은 85.92% 정확도와 최종 검증 손실 0.277를 달성했다.
• COCO의 객체 탐지 사례는 데이터/카드 프롬프트에서 하이퍼파라미터 튜닝 및 훈련 로그 생성을 포함한 엔드-투-엔드 파이프라인을 보여준다.

Figure 2 : The Data Card includes the data name, input data type, label space, and evaluation metric. Within the data card, the same color denotes information originating from a single dataset.