[論文レビュー] Large Language Models As Evolution Strategies

Robert Lange, Yingtao Tian+1 more|arXiv (Cornell University)|Feb 28, 2024

Language and cultural evolution被引用数 4

ひとこと要約

本稿では、離散化・順序付けられた解候補を提示することで、大規模言語モデル（LLM）を再結合演算子として用いるゼロショットブラックボックス最適化フレームワーク、EvoLLMを提案する。この手法は、BBOB関数およびニューロエボリューションタスクにおいて、ランダムサーチやガウスノイズ勾配上昇法を上回り、教師アルゴリズムの軌道を用いたインstruct fine-tuningにより性能がさらに向上する。

ABSTRACT

Large Transformer models are capable of implementing a plethora of so-called in-context learning algorithms. These include gradient descent, classification, sequence completion, transformation, and improvement. In this work, we investigate whether large language models (LLMs), which never explicitly encountered the task of black-box optimization, are in principle capable of implementing evolutionary optimization algorithms. While previous works have solely focused on language-based task specification, we move forward and focus on the zero-shot application of LLMs to black-box optimization. We introduce a novel prompting strategy, consisting of least-to-most sorting of discretized population members and querying the LLM to propose an improvement to the mean statistic, i.e. perform a type of black-box recombination operation. Empirically, we find that our setup allows the user to obtain an LLM-based evolution strategy, which we call `EvoLLM', that robustly outperforms baseline algorithms such as random search and Gaussian Hill Climbing on synthetic BBOB functions as well as small neuroevolution tasks. Hence, LLMs can act as `plug-in' in-context recombination operators. We provide several comparative studies of the LLM's model size, prompt strategy, and context construction. Finally, we show that one can flexibly improve EvoLLM's performance by providing teacher algorithm information via instruction fine-tuning on previously collected teacher optimization trajectories.

研究の動機と目的

• LLMが最適化タスクに明示的なトレーニングを受けていない状態でもゼロショットブラックボックス最適化を実行できるかを調査すること。
• テキストベースのコンテキストのみを用いて、LLMが進化戦略における再結合演算子として機能できるようなプロンプト戦略を設計すること。
• 多様な合成的およびニューロエボリューションタスクにおいて、LLMベースの最適化のロバスト性と性能を評価すること。
• 教師アルゴリズムの軌道を用いたインstruct fine-tuningが、LLMベースの最適化性能を向上させるかを検討すること。
• 最適化の成功に影響を与える主な設計選択、たとえば解表現、離散化、コンテキスト構築の仕方を同定すること。

提案手法

• 本手法は、解候補を離散化し、適合度（fitness）でソートした順序付きシーケンスとその適合度値をLLMの入力コンテキストとして用いる。
• LLMに適合度向上を求めるクエリを提示し、次回の進化戦略サンプリング分布の新しい平均統計量を提案させることを目的とする。
• 連続探索空間を解像度を問題ごとに調整しながら、整数への離散化により解を表現する。
• 高次元問題におけるコンテキスト長の増大に対応するため、ブロック単位での処理をサポートする。
• 複数のLLMを用い、BBOB関数および小規模なニューロエボリューション制御タスクで性能を評価し、アブレーションスタディを実施する。
• 教師アルゴリズムの軌道（例：ガウスノイズ勾配上昇法）を用いて、LLMの性能向上のためのインstruct fine-tuningを適用する。

Figure 1 . Left. Overview of EvoLLM procedure. An LLM proposes an ES search distribution update using a discretized search space & solutions sorted by their performance (least-to-most). To combat the context length growth in the number of dimensions, we can split the search dimensions into blocks an

実験結果

リサーチクエスチョン

• RQ1 LLMは最適化タスクに明示的なトレーニングを受けていない状態でもゼロショットブラックボックス最適化を実行できるか？
• RQ2 離散化・ソート済み・クエリベースのプロンプト戦略により、LLMが進化戦略における有効な再結合演算子として機能できるか？
• RQ3 モデルサイズ、解表現、コンテキスト構築の方法が、LLMベースの進化戦略の最適化性能にどのように影響するか？
• RQ4 教師アルゴリズムの軌道を用いたインstruct fine-tuningが、LLMベースの最適化器の性能を向上させられるか？
• RQ5 LLMベースの最適化における最適な離散化解像度は存在するか？また、問題タイプによってその最適値は変化するか？

主な発見

• EvoLLMは、全8つのBBOBテスト関数および3つのニューロエボリューション制御タスクにおいて、ランダムサーチおよびガウスノイズ勾配上昇法を上回り、複数回の実行において一貫した改善が得られた。
• ほとんどの場合、より小さなLLM（例：PaLM-XS）がより大きなモデルを上回る性能を示し、モデルサイズが性能の主な要因ではないことが示唆された。
• 自然言語ベースの指示よりも、離散化された整数表現の解が著しく優れており、解表現の重要性が浮き彫りになった。
• 最適な離散化解像度は問題に依存する：一部の関数（例：Sphere）では1000ビンが最良の性能を示したが、10,000ビンではコンテキストの過負荷により性能が低下した。
• ガウスノイズ勾配上昇法の教師アルゴリズムの軌道を用いたインstruct fine-tuningにより、未学習のBBOBおよびニューロエボリューションタスクにおいても、わずかだが一貫した性能向上が得られた。
• 限られたコンテキスト（少数のメンバーまたは世代）であっても、LLMは有益な平均更新を推論・提案できており、ソート済みシーケンスからのパターン一般化能力の高さが示された。

Figure 2 . EvoLLM prompt design space & API. We track all solution evaluations and their performance in a context buffer. The buffer is used to construct query prompts for the LLM. After parsing the LLM output and sampling, we evaluate the resulting population and add the new information to the buff