[論文レビュー] EvoPrompting: Language Models for Code-Level Neural Architecture Search

Angelica Chen, D. Dohan+1 more|arXiv (Cornell University)|Feb 28, 2023

Evolutionary Algorithms and Applications被引用数 17

ひとこと要約

EvoPrompting は、進化的 NAS ループにおいてクロスオーバー/突然変異として進化させた、プロンプト適応言語モデルを使用してニューラルアーキテクチャを設計します。これにより MNIST-1D で小型で高性能なモデルを生み出し、CLRS の新規 GNN が多くのタスクで SOTA を上回ります。

ABSTRACT

Given the recent impressive accomplishments of language models (LMs) for code generation, we explore the use of LMs as adaptive mutation and crossover operators for an evolutionary neural architecture search (NAS) algorithm. While NAS still proves too difficult a task for LMs to succeed at solely through prompting, we find that the combination of evolutionary prompt engineering with soft prompt-tuning, a method we term EvoPrompting, consistently finds diverse and high performing models. We first demonstrate that EvoPrompting is effective on the computationally efficient MNIST-1D dataset, where EvoPrompting produces convolutional architecture variants that outperform both those designed by human experts and naive few-shot prompting in terms of accuracy and model size. We then apply our method to searching for graph neural networks on the CLRS Algorithmic Reasoning Benchmark, where EvoPrompting is able to design novel architectures that outperform current state-of-the-art models on 21 out of 30 algorithmic reasoning tasks while maintaining similar model size. EvoPrompting is successful at designing accurate and efficient neural network architectures across a variety of machine learning tasks, while also being general enough for easy adaptation to other tasks beyond neural network design.

研究の動機と目的

• 言語モデル（LM）とプロンプト調整を通じて、ニューラルアーキテクチャ検索（NAS）の改善を促進する。
• 進化的 NAS ループ内で LM を適応的なクロスオーバー/突然変異演算子として用いる EvoPrompting の開発。
• MNIST-1D および CLRS のアルゴリズム的推論ベンチマークで、コンパクトで高性能なアーキテクチャを発見する効果を実証する。
• EvoPrompting が複数のタスクで人間設計および現時点の最先端を上回るアーキテクチャを発見することを示す。

提案手法

• ニューラルアーキテクチャを Python のコード文字列として表現し、コード事前学習済み LM をクロスオーバー/突然変異演算子として用いる。
• 数ショットプロンプトと LM サンプリングを用いて候補アーキテクチャを反復的に生成し、訓練してタスクデータセット上で適性を評価する。
• 上位のアーキテクチャを用いて rounds の間に LM をプロンプト調整し、時間とともにクロスオーバーを改善する。
• 検証エラーとモデルサイズに基づく適性関数で候補に点数を付ける（適性 = -model_size * validation_error）。
• シードアーキテクチャを用いて集団を初期化し、次世代の上位生存者を選択する（エリート主義）。
• 複数ラウンドにわたりプロンプト調整でクロスオーバー LM を訓練し、インコンテキストの例から新しい子アーキテクチャを生成する。

Figure 1 : An overview of EvoPrompting . After initializing the search with a handful of manually designed program seeds, the meta-learning loop begins. First, our code-pretrained LM uses the seeds as in-context prompt examples to generate candidate architectures. Those candidate architectures are t

実験結果

リサーチクエスチョン

• RQ1 コード事前学習済み LM を進化ループに組み込むと、人間設計のベースラインを上回る新規ニューラルアーキテクチャを生み出せるか。
• RQ2 プロンプト調整と進化的プロンプトによって、アーキテクチャ設計のための LM のインコンテキスト学習を改善するか。
• RQ3 軽量ベンチマーク（MNIST-1D）とより複雑なグラフニューラルネットワークタスク（CLRS）における精度とモデルサイズの観点で、EvoPrompting はどう性能を発揮するか。

主な発見

• EvoPrompting は MNIST-1D で小型かつ高性能なアーキテクチャを生み出し、精度とサイズの点で人手設計ベースラインおよび素人的プロンプトを上回る。
• MNIST-1D では Pareto フロンティアが原点に近く、精度とサイズのトレードオフが有利であることを示す。
• CLRS では、Triplet-GMPNN ベースラインを大多数のタスク（30中21）で上回る新規 GNN アーキテクチャを発見する。
• プロンプト調整と進化的クロスオーバーの組み合わせは不可欠であり、プロンプト調整を削除するかランダムな親を使用すると性能が低下する。
• コード語彙の LM は任意の Python 定義アーキテクチャの探索を可能にし、手動設計の探索空間への依存を減らす。

(a) Pareto frontiers of the model size versus test error of the top 20 experiments for each variation of the MNIST1D model search. Frontiers closer to the origin are considered more desirable.