[논문 리뷰] Language Model Crossover: Variation through Few-Shot Prompting

Elliot Meyerson, Mark Nelson외 5명|arXiv (Cornell University)|2023. 02. 23.

Evolutionary Algorithms and Applications인용 수 6

한 줄 요약

이 논문은 대규모 언어모델(Large Language Models, LLMs)의 few-shot 프롬프팅을 활용하여 코드, 수식, 문장과 같은 텍스트 기반 유전자가 조합되는 방식으로 고품질의 자손을 생성하는 새로운 진화적 변이 연산자인 언어모델 크로스오버(Language Model Crossover, LMX)를 소개한다. LLM에 소수의 입력 유전자를 제공함으로써 LMX는 이진 문자열, 수학적 표현, 파이썬 코드 등 다양한 도메인에서 지능적이고 의미 인식 능력을 갖춘 재조합을 가능하게 하여 최소한의 구현 오버헤드로도 높은 유연성과 효과성을 입증한다.

ABSTRACT

This paper pursues the insight that language models naturally enable an intelligent variation operator similar in spirit to evolutionary crossover. In particular, language models of sufficient scale demonstrate in-context learning, i.e. they can learn from associations between a small number of input patterns to generate outputs incorporating such associations (also called few-shot prompting). This ability can be leveraged to form a simple but powerful variation operator, i.e. to prompt a language model with a few text-based genotypes (such as code, plain-text sentences, or equations), and to parse its corresponding output as those genotypes' offspring. The promise of such language model crossover (which is simple to implement and can leverage many different open-source language models) is that it enables a simple mechanism to evolve semantically-rich text representations (with few domain-specific tweaks), and naturally benefits from current progress in language models. Experiments in this paper highlight the versatility of language-model crossover, through evolving binary bit-strings, sentences, equations, text-to-image prompts, and Python code. The conclusion is that language model crossover is a promising method for evolving genomes representable as text.

연구 동기 및 목표

• 대규모 언어모델의 인컨텍스트 학습 능력을 활용해 일반적이고 도메인에 관계없는 진화 계산을 위한 변이 연산자를 개발하는 것.
• LLM이 생물학적 크로스오버를 모방하는 지능적인 패턴 완성 엔진으로 기능할 수 있는지 탐구하는 것.
• LMX의 효과성과 유연성을 코드, 수식, 자연어 등 다양한 텍스트 기반 표현 방식에서 평가하는 것.
• 부모 유전자의 순서와 프롬프팅 기법이 자손 분포를 더 높은 적합도 또는 특정 특성으로 편향시킬 수 있는지 조사하는 것.
• LMX가 최소한의 코드로 구현 가능하며 기존 오픈소스 LLM과 API를 활용해 광범위하게 적용 가능하다는 것을 보여주는 것.

제안 방법

• LMX는 여러 개의 텍스트 기반 유전자(부모)를 소수의 예시로 연결하여 프롬프트를 구성하고, 이를 완성할 대상 입력을 이어붙인다.
• LLM은 프롬프트를 처리하고 새로운 출력을 생성하며, 이를 새로운 자손 유전자로 해석함으로써 패턴 완성 방식으로 크로스오버를 수행한다.
• 이 방법은 LLM의 인컨텍스트 학습 능력을 기반으로 하며, 소수의 입력-출력 쌍으로부터 숨겨진 패턴을 추론하고 새로운 입력으로 일반화하는 데 의존한다.
• 프롬프트 내의 부모 순서를 조작하여 자손이 더 높은 적합도 또는 특정 특성(예: 이진 문자열에서의 1의 개수)을 갖도록 편향시킬 수 있다.
• 이 방법은 도메인에 관계없이 적용 가능하며, 코드, 수식, 문장, 이미지 생성 프롬프트 등 텍스트로 표현 가능한 유전자가 모두 대상이 될 수 있다.
• LMX는 진화 알고리즘에 원활하게 통합 가능하며, LLM 기반 돌연변이 또는 미세조정된 모델과 같은 다른 연산자와 조합하여 성능을 향상시킬 수 있다.

실험 결과

연구 질문

• RQ1 대규모 언어모델이 다양한 텍스트 기반 유전자 간의 패턴 완성 기능을 수행함으로써 지능적인 변이 연산자로 기능할 수 있는가?
• RQ2 프롬프트 내에서 부모 유전자의 순서가 LLM이 생성한 자손의 적합도 분포에 어떤 영향을 미치는가?
• RQ3 LMX가 코드, 수식, 자연어 등 다양한 도메인에서 고품질의 의미 있는 자손을 얼마나 잘 생성할 수 있는가?
• RQ4 LMX가 돌연변이 또는 미세조정된 모델과 같은 다른 진화 연산자와 효과적으로 조합되어 탐색 성능을 향상시킬 수 있는가?
• RQ5 LMX의 성능가 LLM의 학습 데이터 및 도메인 일치도에 따라 어떻게 달라지는가?

주요 결과

• LMX는 이진 문자열, 수학적 표현, 영어 문장, 텍스트 기반 이미지 프롬프트, 파이썬 코드 등 다섯 가지 다른 도메인에서 고품질의 자손을 성공적으로 생성하였다.
• 부모를 적합도 순으로 오름차순으로 정렬한 경우, LMX는 특히 10비트 one-max 문제에서 점수 6 이상인 자손을 통계적으로 유의미하게 더 많이 생성하였다.
• 낮은 적합도를 가진 부모(1의 수가 5개 이하)의 경우, 내림차순으로 정렬한 부모에서 유래한 자손이 더 자주 나타나, 부모 순서에 따른 명백한 편향이 있음을 시사한다.
• 부모 순서를 1의 수 등 특정 기준으로 정렬함으로써 자손이 특정 적합도 범위로 향하도록 일관되게 편향시킬 수 있음을 입증하였으며, 이는 목표 지향적 탐색이 가능함을 의미한다.
• LMX는 최소한의 코드와 계산 비용으로도 강력한 성능을 보였으며, HuggingFace API를 활용해 Google Colab 또는 단일 GPU에서도 효율적으로 실험을 수행할 수 있었다.
• 이 방법은 매우 확장 가능하며, 도메인 전용 LLM 통합, 미세조정, 또는 돌연변이 연산자와의 조합을 통해 진화 성능을 향상시킬 수 있다.