[論文レビュー] Large Language Models as Evolutionary Optimizers

Shengcai Liu, Caishun Chen+3 more|arXiv (Cornell University)|Oct 29, 2023

Metaheuristic Optimization Algorithms Research被引用数 11

ひとこと要約

この論文は LLM 主導の EA (LMEA) を紹介します。ゼロショットの進化的最適化フレームワークで、選択、交叉、変異を実行する際に大規模言語モデルを使用し、自己適応温度で探索と活用のバランスを取ります。評価は最大で 20 ノードの TSP インスタンスで行われました。

ABSTRACT

Evolutionary algorithms (EAs) have achieved remarkable success in tackling complex combinatorial optimization problems. However, EAs often demand carefully-designed operators with the aid of domain expertise to achieve satisfactory performance. In this work, we present the first study on large language models (LLMs) as evolutionary combinatorial optimizers. The main advantage is that it requires minimal domain knowledge and human efforts, as well as no additional training of the model. This approach is referred to as LLM-driven EA (LMEA). Specifically, in each generation of the evolutionary search, LMEA instructs the LLM to select parent solutions from current population, and perform crossover and mutation to generate offspring solutions. Then, LMEA evaluates these new solutions and include them into the population for the next generation. LMEA is equipped with a self-adaptation mechanism that controls the temperature of the LLM. This enables it to balance between exploration and exploitation and prevents the search from getting stuck in local optima. We investigate the power of LMEA on the classical traveling salesman problems (TSPs) widely used in combinatorial optimization research. Notably, the results show that LMEA performs competitively to traditional heuristics in finding high-quality solutions on TSP instances with up to 20 nodes. Additionally, we also study the effectiveness of LLM-driven crossover/mutation and the self-adaptation mechanism in evolutionary search. In summary, our results reveal the great potentials of LLMs as evolutionary optimizers for solving combinatorial problems. We hope our research shall inspire future explorations on LLM-driven EAs for complex optimization challenges.

研究の動機と目的

• 大規模言語モデルが最小限のドメイン知識で組合せ最適化を解決するための進化的オペレーターになり得るかを動機づけ、検討する。
• LMEA を提案する、LLM が親の選択、交叉、変異を EA ループ内で実行するゼロショットフレームワーク。
• 探索中の探索と活用のバランスを取るために LLM 温度を自己適応的に調整する機構を示す。

提案手法

• LLM が親を選択し、各世代の EA で子孫を生成するための交叉と変異を実行するプロンプトベースのフレームワークを構築する。
• 問題記述と解の性質、現在の個体群からの文脈内の例、および明示的なタスク指示を含む問題特異のプロンプト要素を説明する。
• 連続 K 世代に改善が見られない場合に LLM 温度を alpha 増加で自己適応ルールを実装する (alpha=0.1, K=20)。
• EUC-2D TSP インスタンスで n in {10,15,20,25} を評価し、NN、FI/NI/RI の挿入ヒューリスティックおよび OPRO ベースライン（遺伝子オペレーターなしの LLM 主導）と比較する。
• 固定個体数 N=16 および世代 G=250 を使用する; 最適性ギャップと最適解までの世代数を報告する。

実験結果

リサーチクエスチョン

• RQ1 ゼロショットで使用される LLM が、選択、交叉、変異といった進化的オペレーターを効果的に実行して組合せ最適化問題を解決できるか？
• RQ2 LMEA の性能は、従来のヒューリスティックおよび LLM 主導の遺伝子オペレーターを使用しないベースラインと TSP インスタンスでどう比較されるか？
• RQ3 自己適応的な LLM 温度は LMEA の収束と解の質を改善するか？
• RQ4 TSP の問題サイズが大きくなるにつれて LMEA のスケーラビリティの限界は？

主な発見

テストセット	最適性ギャップ（％）	# Generations（成功数）	NN	FI	NI	RI	LMEA	OPRO
rue-10	11.22 ± 3.35	2.23 ± 1.26	0.58 ± 0.58	0.00 ± 0.00	0.00 ± 0.00	0.00 ± 0.00	35.80 ± 7.17 (5)	60.60 ± 13.68 (5)
rue-15	9.84 ± 3.34	1.08 ± 1.01	0.79 ± 0.79	2.45 ± 1.18	0.06 ± 0.06	5.23 ± 2.01	235.25 ± 6.12 (4)	189.00 ± 0.00 (1)
rue-20	21.47 ± 2.01	1.99 ± 0.86	2.65 ± 1.43	2.15 ± 1.26	3.94 ± 1.54	26.30 ± 3.58	197.00 ± 0.00 (1)	N/A (0)
rue-25	10.71 ± 3.36	2.33 ± 1.34	1.41 ± 0.72	2.41 ± 0.74	18.72 ± 3.31	53.59 ± 8.37	N/A (0)	N/A (0)
clu-10	16.48 ± 2.02	1.28 ± 0.79	0.99 ± 0.99	1.37 ± 0.84	0.00 ± 0.00	19.00 ± 3.30	0.00 ± 0.00	0.00 ± 0.00
clu-15	23.39 ± 4.39	0.00 ± 00.00	0.48 ± 0.48	0.08 ± 0.08	0.11 ± 0.11	8.13 ± 4.83	152.25 ± 18.80 (4)	153.00 ± 0.00 (1)
clu-20	21.29 ± 2.77	0.78 ± 0.48	3.81 ± 1.45	1.97 ± 0.87	4.05 ± 0.69	19.83 ± 4.76	N/A (0)	N/A (0)
clu-25	22.36 ± 1.29	2.10 ± 0.55	3.58 ± 0.68	1.83 ± 0.62	10.06 ± 1.69	48.25 ± 5.86	N/A (0)	N/A (0)

• LMEA は小さな TSP（n=10,15）で競争力の最適性ギャップを達成し、10-および15ノードの多くのケースで最適解を一貫して見つける。
• rue-10, rue-15, および clu-10 テスト集合で、LMEA は従来のヒューリスティックより優れており、ケースの大半で最適解を見つける（例：19/20 rue/clu-10/15 インスタンスで最適）。
• より大きな TSP（n=20,25）では、LMEA の性能は手作りのヒューリスティックに比べて劣化し、スケーラビリティの限界を浮き彫りにする。
• OPRO（LLM だが遺伝子オペレーターなし）と比較して、LMEA は一般により良い解とより速い収束をもたらす。
• LMEA の温度自己適応は、非適応バリアント（LMEA*）に比べて性能を大幅に改善する。
• LLMs は EA フレームワークのオペレーターとコーディネータの両方を務めることができ、組合せ最適化への最小知識アプローチを可能にする。