[論文レビュー] AutoML-GPT: Automatic Machine Learning with GPT

Shujian Zhang, Chengyue Gong+3 more|arXiv (Cornell University)|May 4, 2023

Topic Modeling被引用数 26

ひとこと要約

AutoML-GPT は GPT ベースのコントローラを用いて、データ処理、モデル設計、ハイパーパラメータチューニングをタスクカードとデータカードのプロンプトで自動的に実行し、vision、NLP などのエンドツーエンド AutoML を実現します。未見データセットや複数タスクで、トレーニングログとハイパーパラメータを予測することにより強力な結果を達成します。

ABSTRACT

AI tasks encompass a wide range of domains and fields. While numerous AI models have been designed for specific tasks and applications, they often require considerable human efforts in finding the right model architecture, optimization algorithm, and hyperparameters. Recent advances in large language models (LLMs) like ChatGPT show remarkable capabilities in various aspects of reasoning, comprehension, and interaction. Consequently, we propose developing task-oriented prompts and automatically utilizing LLMs to automate the training pipeline. To implement this concept, we present the AutoML-GPT, which employs GPT as the bridge to diverse AI models and dynamically trains models with optimized hyperparameters. AutoML-GPT dynamically takes user requests from the model and data cards and composes the corresponding prompt paragraph. Ultimately, with this prompt paragraph, AutoML-GPT will automatically conduct the experiments from data processing to model architecture, hyperparameter tuning, and predicted training log. By leveraging {\ours}'s robust language capabilities and the available AI models, AutoML-GPT can tackle numerous intricate AI tasks across various tasks and datasets. This approach achieves remarkable results in computer vision, natural language processing, and other challenging areas. Extensive experiments and ablation studies demonstrate that our method can be general, effective, and beneficial for many AI tasks.

研究の動機と目的

• LLMs による自動MLパイプラインのトレーニングを動機付け、モデル選択とハイパーパラメータ調整の人手負担を削減する。
• データカードとモデルカードを構造化入力として活用する prompt ベースの AutoML パイプラインを提案する。
• 視覚、NLP、分類タスクを含む見たことのないデータセットでのエンドツーエンド AutoML パフォーマンスを示す。

提案手法

• データカードとモデルカードを結合して固定フォーマットの入力プロンプト段落を定義する。
• LLM をコントローラとして、データ処理、アーキテクチャ設計、ハイパーパラメータ調整、トレーニングログ生成を指揮する。
• 生成されたプロンプトからトレーニングログとハイパーパラメータを予測し、後続の実験とユーザーとの対話を導く。
• データカード間の類似性をテキストエンコーダで活用して、未知のデータセットへハイパーパラメータを転移させる。
• 複数のタスクで AutoML-GPT を評価し、チューニング結果と予測ログを報告する。

Figure 1 : Overview of AutoML-GPT. Some notations are labeled along with corresponding components. ‘Eval Metrics & Add’ refers to the evaluation metrics and additional requests.

実験結果

リサーチクエスチョン

• RQ1 GPT ベースのプロンプトは、さまざまなタスクに対してデータ処理、モデルアーキテクチャ、ハイパーパラメータを自動的に設定できるか。
• RQ2 データカードだけで AutoML-GPT は未知データセットへ一般化できるか。
• RQ3 視覚、QA、分類タスクにおけるハイパーパラメータ予測の精度と結果としてのモデル性能はどの程度か。

主な発見

• 未知データセットで、AutoML-GPT は最も予測されたハイパーパラメータに対して Top-1 精度 98% を達成し、ランダムに選択したハイパーパラメータでは 80% だった。
• AutoML-GPT のハイパーパラメータを用いてモデルを初期化した場合、Top-1 精度は 82% となり、ランダム初期化を上回るが、最良の AutoML-GPT 設定には及ばない。
• UCI Adult の分類タスクで XGBoost を用いた場合、AutoML-GPT ベースのトレーニングは 85.92% の精度と最終検証損失 0.277 を達成。
• COCO の物体検出ケースは、データ/カードプロンプトからハイパーパラメータ調整とトレーニングログ生成までのエンドツーエンド・パイプラインを示す。

Figure 2 : The Data Card includes the data name, input data type, label space, and evaluation metric. Within the data card, the same color denotes information originating from a single dataset.