[論文レビュー] Can GPT-4 Perform Neural Architecture Search?

Mingkai Zheng, Xiu Su+5 more|arXiv (Cornell University)|Apr 21, 2023

Topic Modeling被引用数 16

ひとこと要約

GENIUS は GPT-4 を黒箱最適化器として用い、NAS のためのニューラルアーキテクチャを提案・反復的に洗練させる。限定的なドメイン知識で競争力のある結果をいくつかのベンチマークで示す。

ABSTRACT

We investigate the potential of GPT-4~\cite{gpt4} to perform Neural Architecture Search (NAS) -- the task of designing effective neural architectures. Our proposed approach, extbf{G}PT-4 extbf{E}nhanced extbf{N}eural arch extbf{I}tect extbf{U}re extbf{S}earch (GENIUS), leverages the generative capabilities of GPT-4 as a black-box optimiser to quickly navigate the architecture search space, pinpoint promising candidates, and iteratively refine these candidates to improve performance. We assess GENIUS across several benchmarks, comparing it with existing state-of-the-art NAS techniques to illustrate its effectiveness. Rather than targeting state-of-the-art performance, our objective is to highlight GPT-4's potential to assist research on a challenging technical problem through a simple prompting scheme that requires relatively limited domain expertise\footnote{Code available at \href{https://github.com/mingkai-zheng/GENIUS}{https://github.com/mingkai-zheng/GENIUS}.}. More broadly, we believe our preliminary results point to future research that harnesses general purpose language models for diverse optimisation tasks. We also highlight important limitations to our study, and note implications for AI safety.

研究の動機と目的

• ドメイン特化のファインチューニングなしで、ニューラルアーキテクチャ設計を支援する一般目的ツールとしての GPT-4 の探索を動機づける。
• プロンプトベースの GENIUS ワークフローを簡潔に示し、モデルアーキテクチャを反復的に提案・評価する。
• 複数の NAS ベンチマークと大規模 ImageNet 設定で GENIUS を最先端 NAS 手法と比較する。
• 科学的タスクでのオプティマイザとして LLM を使用する際の実用的な制約と AI 安全性の考慮事項を議論する。

提案手法

• GPT-4 に NAS 問題を人間が読めるテキストへエンコードする。
• 初期アーキテクチャ構成を提案するよう GPT-4 にプロンプトをかける。
• 提案された構成を訓練/評価して経験的な精度を得る。
• 結果を GPT-4 に合理的なプロンプトとともにフィードバックし、より良いアーキテクチャを生成させる。
• 固定回数の反復で繰り返し、最良のアーキテクチャを識別する。
• 任意で FLOPs のフィードバックループを組み込み、制約を強制する。

Figure 1: An overview of the GENIUS framework . After an initial problem encoding (corresponding to iteration $T=0$ ), GPT-4 proposes a model configuration. A Python program is then executed to evaluate the quality of the configuration (assessed through its accuracy), and the results are passed back

実験結果

リサーチクエスチョン

• RQ1 GPT-4 は人間の指導が最小限でニューラルアーキテクチャ探索空間を効果的にナビゲートできるか？
• RQ2 標準的なベンチマークで GENIUS は最先端の NAS 手法と比較してどの程度性能を発揮するか？
• RQ3 探索結果に対するプロンプティングのランダム性（温度）の影響は？
• RQ4 GPT-4 を NAS オプティマイザとして使用する際の実用的な制約（再現性、データ汚染、安全性）は？

主な発見

手法	CIFAR-10 検証	CIFAR-10 テスト	CIFAR-100 検証	CIFAR-100 テスト	ImageNet-16-120 検証	ImageNet-16-120 テスト
GENIUS - 329 (Ours)	91.07±0.20	93.79±0.09	70.96±0.33	70.91±0.72	45.29±0.81	44.96±1.02

• GENIUS は NAS-Bench-Macro および Channel-Bench-Macro で競争力のある結果を達成し、見つかったアーキテクチャのトップパーセンタイルのランキングを含む。
• NAS-Bench-201 では、GENIUS はいくつかの確立された NAS 手法とほぼ同等または競合する結果を達成しており、例えば GENIUS - 329 は CIFAR-10 で 91.07 ± 0.20 の検証、 93.79 ± 0.09 のテスト、CIFAR-100 で 70.96 ± 0.33 の検証、 70.91 ± 0.72 のテスト、ImageNet-16-120 で 45.29 ± 0.81 の検証、44.96 ± 1.02 のテストを得た。
• 大規模 ImageNet 実験では、MobileNetV2 ライクな探索空間を用いた場合、約 329M FLOPs で Top-1 77.8%、約 401M FLOPs で Top-1 78.2%、低い探索コストで競争力のある性能を示した。
• 転移学習実験では、ImageNet 前訓練済みの GENIUS アーキテクチャが、他の手作成および NAS 手法と比較して CIFAR-10/100 の結果で競争力を示した。
• 定性的分析では、GPT-4 が示す設計原理（例：段階的な複雑さ、深さの進行）を明らかにし、LLMs をオプティマイザとして使用する際の安全性と再現性の重要な考慮事項を強調している。