[論文レビュー] Evolutionary Computation in the Era of Large Language Model: Survey and Roadmap

Xingyu Wu, Sheng-hao Wu+3 more|arXiv (Cornell University)|Jan 18, 2024

Topic Modeling被引用数 11

ひとこと要約

この論文は、大規模言語モデル（LLMs）と進化アルゴリズム（EAs）の相互作用を調査し、双方向のフレームワーク（LLM強化EAとEA強化LLM）を提案し、統合研究と応用のロードマップを概説します。

ABSTRACT

Large language models (LLMs) have not only revolutionized natural language processing but also extended their prowess to various domains, marking a significant stride towards artificial general intelligence. The interplay between LLMs and evolutionary algorithms (EAs), despite differing in objectives and methodologies, share a common pursuit of applicability in complex problems. Meanwhile, EA can provide an optimization framework for LLM's further enhancement under black-box settings, empowering LLM with flexible global search capacities. On the other hand, the abundant domain knowledge inherent in LLMs could enable EA to conduct more intelligent searches. Furthermore, the text processing and generative capabilities of LLMs would aid in deploying EAs across a wide range of tasks. Based on these complementary advantages, this paper provides a thorough review and a forward-looking roadmap, categorizing the reciprocal inspiration into two main avenues: LLM-enhanced EA and EA-enhanced LLM. Some integrated synergy methods are further introduced to exemplify the complementarity between LLMs and EAs in diverse scenarios, including code generation, software engineering, neural architecture search, and various generation tasks. As the first comprehensive review focused on the EA research in the era of LLMs, this paper provides a foundational stepping stone for understanding the collaborative potential of LLMs and EAs. The identified challenges and future directions offer guidance for researchers and practitioners to unlock the full potential of this innovative collaboration in propelling advancements in optimization and artificial intelligence. We have created a GitHub repository to index the relevant papers: https://github.com/wuxingyu-ai/LLM4EC.

研究の動機と目的

• LLMとEAの学際的研究を調査し、既存のアプローチを分類する。
• LLMsがEAの性能を高める方法と、EAがLLMの使いやすさと設計を改善する方法を分析する。
• 将来を見据えたロードマップを提供し、今後の課題と方向性を特定する。
• ニューラルアーキテクチャ探索、コード生成、ソフトウェア工学などのタスクで統合的なシナジーの例を示す。

提案手法

• 現在のLLM-EA研究と応用を体系的にレビューする。
• 横断研究をLLM強化EA、EA強化LLM、統合シナジーの三つの切り口で分類する。
• 既存手法の長所・弱点・限界を批判的に分析する。
• 領域の今後の方向性と課題を整理したロードマップを提示する。

実験結果

リサーチクエスチョン

• RQ1 ブラックボックス設定でLLMsは進化的最適化と選択/突然変異演算子をどのように強化できるか。
• RQ2 進化計算はLLMsの設計、プロンプト、アーキテクチャをどのように改善できるか。
• RQ3 LLM-EAシナジーの恩恵を受ける主要な適用分野（例：NAS、コード生成、ソフトウェア工学）は何か、どの課題が残るか。
• RQ4 LLMsとEAのインターフェースで研究を指針づけるべき将来の方向性や未解の問題は何か。

主な発見

• LLMsとEAsは相補的な強みを提供し、探索空間が大きい複雑な問題に対して共生関係を実現する。
• 本論文は、LLMs時代のEA研究に焦点を当てた包括的で初めてのレビューを提供する。
• 三つのコアな道筋—LLM強化EA、EA強化LLM、統合シナジー—を特定し、それぞれの代表的な手法を論じる。
• レビューは高次元のプロンプト、データ処理、効率性、安定性といった課題を浮き彫りにし、今後の研究のロードマップを提供する。