[論文レビュー] Evolution through Large Models

Joel Lehman, Jonathan Gordon+4 more|arXiv (Cornell University)|Jun 17, 2022

Evolutionary Algorithms and Applications被引用数 4

ひとこと要約

この論文では、コードで微調整された大規模言語モデル（LLM）を用いて遺伝的プログラミング（GP）における知的な突然変異作用素を実装する、進化による大規模モデル（ELM）を提案する。LLMに人間らしい機能的コード変更を生成させるプロンプトを提示することで、ELMは複雑で動作するPythonプログラム—例えばSodaraceドメインにおける歩行ロボット—を、単一の凡庸な人間によるシードから進化可能にし、最終的には地形固有のロボット設計のための新たな条件付きモデルをブートストラップする。

ABSTRACT

This paper pursues the insight that large language models (LLMs) trained to generate code can vastly improve the effectiveness of mutation operators applied to programs in genetic programming (GP). Because such LLMs benefit from training data that includes sequential changes and modifications, they can approximate likely changes that humans would make. To highlight the breadth of implications of such evolution through large models (ELM), in the main experiment ELM combined with MAP-Elites generates hundreds of thousands of functional examples of Python programs that output working ambulating robots in the Sodarace domain, which the original LLM had never seen in pre-training. These examples then help to bootstrap training a new conditional language model that can output the right walker for a particular terrain. The ability to bootstrap new models that can output appropriate artifacts for a given context in a domain where zero training data was previously available carries implications for open-endedness, deep learning, and reinforcement learning. These implications are explored here in depth in the hope of inspiring new directions of research now opened up by ELM.

研究の動機と目的

• 遺伝的プログラミング（GP）において、LLMのトレーニング分布とはかけ離れたドメインで突然変異が効果を発揮しないという課題に対処すること。
• LLMが人間らしく、機能的な摂動作用素として機能し、進化的探索を機能的解決へと導けるかを検討すること。
• 事前に存在しなかったドメインに特化したトレーニングデータがまったくない状況でも、LLMが生成したデータが新たなファインチューニング済みモデルの構築に利用可能であることを実証すること。
• ELMが、LLMの元のトレーニングデータ外の多様で機能的な成果物を生成することで、開かれた分布シフト型の発見を可能にする役割を果たすかを調査すること。
• ELMが生成したデータを用いてファインチューニングすることで、特定ドメイン（例：地形適応型ロボット）に特化した成果物を条件付きで生成可能にし、強化学習やディープラーニング分野の応用を前進させること。

提案手法

• 事前にトレーニング済みのコード生成LMMを、遺伝的プログラミングパイプラインにおける突然変異作用素として使用し、妥当で機能的なコード変更を生成する。
• MAP-Elitesアルゴリズムを適用し、LLMが生成した突然変異を用いて、Pythonプログラム空間における多様で機能的なSodaraceロボット設計を探索・保存する。
• LLMがこのドメインに事前に接触したことがないにもかかわらず、何十万もの機能的Pythonプログラム（Sodaraceドメインにおける歩行ロボット）を生成する。
• ELMが生成したデータセットを用いて元のLMMをファインチューニングし、特定の地形に適したロボットを生成できる条件付き言語モデルを構築する。
• 強化学習（RL）を用いて条件付きモデルをさらに最適化し、地形入力に応じた適切なロボット形状を生成できるようにする。
• 生成されたデータを活用して、初期トレーニングデータがゼロのドメインに対しても新たなモデルをブートストラップし、自己改善型で開かれた発見のループを実証する。

実験結果

リサーチクエスチョン

• RQ1 事前にトレーニング済みのコード生成LMMが、トレーニング分布からかけ離れたドメインにおいて、遺伝的プログラミングの有効な知的な突然変異作用素として機能できるか？
• RQ2 ラベル付きデータがまったく存在しない状況で、進化的探索から得たLLM生成データが、新たなドメイン特化モデルの学習にどの程度利用可能か？
• RQ3 ELMとMAP-Elitesの組み合わせにより、人間が1つだけ書いたシードから、新規ドメインにおける多様で機能的な成果物（例：Sodaraceロボット）を生成できるか？
• RQ4 ELMが生成したデータが、特定の地形に適したロボット設計を生成できる条件付き言語モデルの学習を可能にするか？
• RQ5 ELMは、元のトレーニング分布外の新規で機能的な解決策を継続的に発見することで、どのように開かれた進化を促進するか？

主な発見

• ELMは、LLMがこのドメインに事前に接触したことがないにもかかわらず、何十万もの機能的Pythonプログラム（Sodaraceドメインにおける歩行ロボット）を生成した。
• ELMが生成したデータセットは、地形固有のSodaraceロボットを生成できる新しい条件付き言語モデルのファインチューニングに十分であり、これはゼロから訓練するには不可能なタスクであった。
• 強化学習により、条件付きモデルが地形入力に応じた適切なロボット形状を生成できるようにさらに向上した。
• LLMベースの突然変異作用素は、複雑でなじみのないドメインにおいて、機能的解決へと進化的探索を導く点で、従来の突然変異を著しく上回った。
• ELMパイプラインは自己持続的発見ループを示した：ELMが生成したデータにより新たなモデルの学習が可能となり、そのモデルがさらに多様で的を射た解決策を生成できるようになった。
• このアプローチにより、元のトレーニング分布外の新規で機能的な成果物を継続的に生成することで、開かれた進化が可能となり、新たな能力の出現を支援する。