[論文レビュー] Language Model Crossover: Variation through Few-Shot Prompting

Elliot Meyerson, Mark Nelson+5 more|arXiv (Cornell University)|Feb 23, 2023

Evolutionary Algorithms and Applications被引用数 6

ひとこと要約

本稿では、大規模言語モデル（LLM）におけるFew-shotプロンプトを活用して、コードや方程式、文などのテキストベースのゲノタイプを組み合わせることで高品質なオフスプリングを生成する、新しい進化的変異作用素である言語モデルクロスオーバー（LMX）を紹介する。LLMに少数の入力ゲノタイプを提示することで、LMXはバイナリ文字列、数学的式、Pythonコードなど多様な分野にわたり、知能的かつ意味的に意識された再結合を可能にする。実装コストが最小限で、高い汎用性と有効性を示している。

ABSTRACT

This paper pursues the insight that language models naturally enable an intelligent variation operator similar in spirit to evolutionary crossover. In particular, language models of sufficient scale demonstrate in-context learning, i.e. they can learn from associations between a small number of input patterns to generate outputs incorporating such associations (also called few-shot prompting). This ability can be leveraged to form a simple but powerful variation operator, i.e. to prompt a language model with a few text-based genotypes (such as code, plain-text sentences, or equations), and to parse its corresponding output as those genotypes' offspring. The promise of such language model crossover (which is simple to implement and can leverage many different open-source language models) is that it enables a simple mechanism to evolve semantically-rich text representations (with few domain-specific tweaks), and naturally benefits from current progress in language models. Experiments in this paper highlight the versatility of language-model crossover, through evolving binary bit-strings, sentences, equations, text-to-image prompts, and Python code. The conclusion is that language model crossover is a promising method for evolving genomes representable as text.

研究の動機と目的

• 大規模言語モデル（LLM）のコンテキスト内学習能力を活用して、一般用途で利用可能で分野に依存しない進化的計算用の変異作用素を開発すること。
• LLMが生物学的クロスオーバーを模倣する知的なパターン補完エンジンとして機能できるかどうかを検証すること。
• LMXの有効性と汎用性が、コード、方程式、自然言語などの多様なテキストベースの表現においてどのように発揮されるかを評価すること。
• 親の順序付けやプロンプト工学が、より高い適応度や特定の特性を持つオフスプリングの分布にどのようにバイアスをかけるかを調査すること。
• LMXが最小限のコード量で実装可能であり、既存のオープンソースLLMやAPIを活用して広範な適用性を持つことを実証すること。

提案手法

• LMXは、複数のテキストベースのゲノタイプ（親）をFew-shot例として連結してプロンプトを構築し、その後に補完対象の入力を提示する。
• LLMはそのプロンプトを処理し、新たな出力を生成する。この出力は解析されて新たなオフスプリングゲノタイプとして扱われ、パターン補完を通じてクロスオーバーが実現される。
• この手法は、少数の入出力ペアからパターンを推論し、新しい入力へ一般化するLLMのコンテキスト内学習能力に依存している。
• プロンプト内の親の順序を操作することで、より高い適応度や特定の特性（例：バイナリ文字列における1の先頭数）を持つオフスプリングにバイアスをかけることができる。
• このアプローチは分野に依存せず、コード、方程式、文、テキストから画像へのプロンプトなど、テキストで表現可能なゲノムに適用可能である。
• LMXは進化的アルゴリズムにスムーズに統合可能であり、LLMベースの変異作用素やファインチューニング済みモデルと組み合わせることで性能を向上させることができる。

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデル（LLM）は、多様なテキストベースのゲノタイプ間でパターン補完を実行することで、知的な変異作用素として機能できるか？
• RQ2 プロンプト内の親ゲノタイプの順序が、LLMが生成するオフスプリングの適応度分布にどのように影響するか？
• RQ3 LMXは、コード、方程式、自然言語などの異なる分野において、高品質で意味的に意味のあるオフスプリングをどの程度効果的に生成できるか？
• RQ4 LMXは、変異作用素やファインチューニング済みモデルといった他の進化的作用素と効果的に組み合わせられるか、探索性能を向上させられるか？
• RQ5 LMXの性能は、下位のLLMのトレーニングデータや分野適合性にどのように依存するか？

主な発見

• LMXは、バイナリ文字列、数学的式、英語の文、テキストから画像へのプロンプト、Pythonコードの5つの異なる分野において、高品質なオフスプリングを効果的に生成した。
• 親を適応度の昇順に並べた場合、特に10ビットのone-max問題でスコア6以上を達成する親に対して、LMXは統計的に有意な高い適応度のオフスプリングを生成する傾向を示した。
• 低適応度の親（1の数が5個以下）に対しては、親を降順に並べた場合にオフスプリングが生成されやすくなる傾向があり、親の順序による明確なバイアスが確認された。
• 親の順序付け（例：先頭の1の数でソート）により、特定の適応度範囲にオフスプリングを一貫してバイアスさせることができ、ターゲット検索が可能であることが示された。
• LMXは最小限のコード量と計算コストで優れた結果を達成しており、HuggingFace APIを用いてGoogle Colabや単一GPUでも効率的に実行可能であった。
• このアプローチは非常に拡張性が高く、ドメイン特化LLMとの統合、ファインチューニング、または変異作用素との組み合わせによって、進化的な性能をさらに向上させることができる。