[論文レビュー] LLMatic: Neural Architecture Search via Large Language Models and Quality Diversity Optimization

Muhammad Umair Nasir, Sam Earle+3 more|arXiv (Cornell University)|Jun 1, 2023

Topic Modeling被引用数 4

ひとこと要約

LLMaticは、コードベースのニューラルアーキテクチャ生成に大規模言語モデル（LLM）を用い、品質多様性（QD）最適化を組み合わせることで、多様で高性能なアーキテクチャを発見する、革新的なニューラルアーキテクチャ探索（NAS）フレームワークを提案する。QDアーカイブとしてのプロンプトとネットワーク行動のプロシージャルで制御されたプロンプト駆動型アプローチを活用することで、2,000回の評価のみでCIFAR-10、CIFAR-100、ImageNet16-120で準SOTAの精度を達成し、ベンチマークモデルに事前の露出がなくても、効率的かつ効果的なNASを実現した。

ABSTRACT

Large Language Models (LLMs) have emerged as powerful tools capable of accomplishing a broad spectrum of tasks. Their abilities span numerous areas, and one area where they have made a significant impact is in the domain of code generation. Here, we propose using the coding abilities of LLMs to introduce meaningful variations to code defining neural networks. Meanwhile, Quality-Diversity (QD) algorithms are known to discover diverse and robust solutions. By merging the code-generating abilities of LLMs with the diversity and robustness of QD solutions, we introduce exttt{LLMatic}, a Neural Architecture Search (NAS) algorithm. While LLMs struggle to conduct NAS directly through prompts, exttt{LLMatic} uses a procedural approach, leveraging QD for prompts and network architecture to create diverse and high-performing networks. We test exttt{LLMatic} on the CIFAR-10 and NAS-bench-201 benchmarks, demonstrating that it can produce competitive networks while evaluating just $2,000$ candidates, even without prior knowledge of the benchmark domain or exposure to any previous top-performing models for the benchmark. The open-sourced code is available in \url{https://github.com/umair-nasir14/LLMatic}.

研究の動機と目的

• 試行錯誤による評価に依存する従来のニューラルアーキテクチャ探索（NAS）手法における非効率性と多様性の欠如を解決すること。
• 大規模言語モデル（LLM）がニューラルネットワークの意味のあるアーキテクチャ変種を効果的に生成できるかどうかを検証すること。
• LLMで生成されたコードと品質多様性（QD）最適化を統合し、多様で高性能で頑健なアーキテクチャの集合を発見すること。
• 小さな効率的なLLM（6.1Bパラメータ）が、最小限の探索予算で競争力のあるNAS性能を達成できるかどうかを示すこと。
• アブレーションスタディを通じて、提案されたLLMaticフレームワークにおける各コンponentの必要性と有効性を検証すること。

提案手法

• LLMaticは、コード生成用のLLM（CodeGen-6.1B）を用い、事前に定義された演算のセットに制限された形で、検索可能なコードスニペットとしてニューラルネットワークアーキテクチャを生成する。
• MAP-Elitesの変種である品質多様性（QD）アルゴリズムを用い、2つのアーカイブ（プロンプト用とトレーニング済みネットワークアーキテクチャ用）を維持する。
• プロンプトアーカイブは、LLMが多様なネットワークセルを生成するのを導く多様で高品質なプロンプトを保存する。一方、ネットワークアーカイブは、FLOPSやパラメータ数などの行動記述子を有するアーキテクチャを保存する。
• 各世代では、QDアーカイブからプロンプトをサンプリングし、LLMに新しいネットワークセルを生成させ、そのアーキテクチャをトレーニング・評価した後、性能と行動の多様性に基づいてネットワークアーカイブを更新する。
• 手続き的で反復的なループを採用：プロンプト選択 → LLMによるアーキテクチャ生成 → トレーニングと評価 → アーカイブ更新 → 次の世代。
• フレームワークは計算効率に配慮しており、合計2,000回の評価と小さなLLMに依存しながらも、競争力のある性能を達成している。

Figure 1: The illustration of the best accuracy per generation for LLMatic and all ablation studies. Each experiment is conducted with 10 seeds. The shaded region is the standard deviation while the solid line represents the mean. EfficientNet-B0 is the best-performing EfficientNet on CIFAR-10.

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデル（LLM）は、コード生成を通じて多様で高性能なニューラルネットワークアーキテクチャを効果的に生成できるか？
• RQ2 LLMベースのコード生成と品質多様性最適化を組み合わせることで、ニューラルアーキテクチャ探索における探索効率と多様性はどのように向上するか？
• RQ3 2,000回の試行という最小限の評価予算で、6.1Bパラメータの小さなLLMがどれほど競争力のあるNAS性能を達成できるか？
• RQ4 LLMaticは、Λ-DARTS や GPT-4ベースのGENIUS といったSOTAのNAS手法と比較して、精度と多様性の面でどのように差をつけるか？
• RQ5 LLMaticの各コンponentの貢献度は何か？また、フレームワークはアーキテクチャ制約や限られた計算リソースに対して頑健か？

主な発見

• NAS-bench-201ベンチマークにおいて、LLMaticはCIFAR-10で94.26±0.13のテスト精度を達成し、全手法中2位（最適値94.47に次ぐ）。
• CIFAR-100では71.62±1.73の精度で2位、ImageNet16-120では45.87±0.96の精度で11位を記録し、複数のデータセットにわたる優れた一般化性能を示した。
• LLMaticはCIFAR-10で20個以上の競争力のあるネットワークを発見し、行動空間に広がった分布を示しており、アーキテクチャ探索における有効な多様性を裏付けた。
• アブレーションスタディにより、LLM生成、プロンプトQDアーカイブ、ネットワークQDアーカイブの各コンponentが不可欠であることが確認され、いずれかを除去すると性能が著しく低下した。
• 2,000回の評価と小さな6.1BパラメータLLMに限定されたにもかかわらず、LLMaticは単純なGPT-4ベースのNAS（GENIUS）を上回り、Λ-DARTS（SOTA手法）と同等の性能を達成した。
• LLMとQD最適化を組み合わせることで、トップパフォーマンスモデルへの事前の露出がなくても、かつ詳細なハイパーパramータチューニングがなくても、効率的で低リソースなNASが可能であることを示した。

Figure 2: The illustration of how many trainable networks are created in a generation. The total number of networks created is 100 per generation.