[论文解读] Language Model Crossover: Variation through Few-Shot Prompting

Elliot Meyerson, Mark Nelson+5 more|arXiv (Cornell University)|Feb 23, 2023

Evolutionary Algorithms and Applications被引用 6

一句话总结

本文提出语言模型交叉（LMX），一种新颖的进化变异算子，通过在大型语言模型（LLMs）中利用少样本提示（few-shot prompting）来生成高质量后代，方法是将基于文本的基因型（如代码、公式或句子）进行组合。通过向LLM提供少量输入基因型作为提示，LMX能够在包括二进制字符串、数学表达式和Python代码在内的多种领域中实现智能且语义感知的重组，展现出强大的通用性与有效性，且实现开销极低。

ABSTRACT

This paper pursues the insight that language models naturally enable an intelligent variation operator similar in spirit to evolutionary crossover. In particular, language models of sufficient scale demonstrate in-context learning, i.e. they can learn from associations between a small number of input patterns to generate outputs incorporating such associations (also called few-shot prompting). This ability can be leveraged to form a simple but powerful variation operator, i.e. to prompt a language model with a few text-based genotypes (such as code, plain-text sentences, or equations), and to parse its corresponding output as those genotypes' offspring. The promise of such language model crossover (which is simple to implement and can leverage many different open-source language models) is that it enables a simple mechanism to evolve semantically-rich text representations (with few domain-specific tweaks), and naturally benefits from current progress in language models. Experiments in this paper highlight the versatility of language-model crossover, through evolving binary bit-strings, sentences, equations, text-to-image prompts, and Python code. The conclusion is that language model crossover is a promising method for evolving genomes representable as text.

研究动机与目标

• 开发一种通用的、领域无关的进化计算变异算子，利用大型语言模型的上下文学习能力。
• 探索LLMs是否可作为智能模式补全引擎，用于进化重组，模拟生物交叉。
• 评估LMX在包括代码、公式和自然语言在内的多种文本表示形式中的有效性与通用性。
• 研究父代排序与提示工程如何影响后代分布，使其偏向更高适应度或特定属性。
• 证明LMX可仅通过极少代码实现，并利用现有的开源LLMs和API实现广泛适用性。

提出的方法

• LMX通过将多个基于文本的基因型（父代）拼接为少样本示例，并在其后附加一个待补全的目标输入来构建提示。
• LLM处理该提示并生成新输出，该输出被解析为一种新型后代基因型，从而通过模式补全实现交叉。
• 该方法依赖LLM的上下文学习能力，从少量输入-输出对中推断潜在模式，并推广到新输入。
• 通过操控提示中父代的排序，可引导后代偏向更高适应度或特定特征，例如按适应度或二进制字符串中前导1的个数排序。
• 该方法与领域无关，可应用于任何可文本表示的基因组，包括代码、公式、句子以及文生图提示。
• LMX可无缝集成到进化算法中，并可与其他算子（如基于LLM的变异或微调模型）结合，以提升性能。

实验结果

研究问题

• RQ1 大型语言模型能否通过在多样化文本基因型之间执行模式补全，充当智能变异算子？
• RQ2 提示中父代基因型的排序如何影响LLM生成后代的适应度分布？
• RQ3 LMX在代码、公式和自然语言等不同领域中，能在多大程度上生成高质量、语义有意义的后代？
• RQ4 LMX能否与变异等其他进化算子有效结合，以提升搜索性能？
• RQ5 LMX的性能在多大程度上依赖于底层LLM的训练数据及其领域对齐程度？

主要发现

• LMX在五个不同领域中成功生成了高质量后代：二进制字符串、数学表达式、英文句子、文生图提示和Python代码。
• 当父代按适应度升序排列时，LMX生成的后代在适应度分布上表现出统计显著的偏向更高适应度，尤其在10位one-max问题中适应度为6及以上时更为明显。
• 对于低适应度父代（1s个数≤5），后代更可能来自按降序排列的父代，表明父代排序存在可测量的偏差。
• 该方法表明，通过按前导1的个数等特征对父代排序，可稳定地引导后代偏向特定适应度范围，实现目标搜索。
• LMX以极低的代码和计算成本实现优异性能，实验可在Google Colab或单张GPU上通过HuggingFace API高效运行。
• 该方法具有高度可扩展性，可通过集成领域专用LLM、微调或与变异算子结合，进一步提升进化性能。