[论文解读] ReEvo: Large Language Models as Hyper-Heuristics with Reflective Evolution

Haoran Ye, Jiarui Wang+6 more|arXiv (Cornell University)|Feb 2, 2024

Topic Modeling被引用 10

一句话总结

本文提出 Language Hyper-Heuristics (LHHs) 和 Reflective Evolution 框架（ReEvo），利用 LLMs 生成并反思启发式方法，覆盖广泛的组合优化问题，取得了包括黑盒 COPs 在内的最先进结果。

ABSTRACT

The omnipresence of NP-hard combinatorial optimization problems (COPs) compels domain experts to engage in trial-and-error heuristic design. The long-standing endeavor of design automation has gained new momentum with the rise of large language models (LLMs). This paper introduces Language Hyper-Heuristics (LHHs), an emerging variant of Hyper-Heuristics that leverages LLMs for heuristic generation, featuring minimal manual intervention and open-ended heuristic spaces. To empower LHHs, we present Reflective Evolution (ReEvo), a novel integration of evolutionary search for efficiently exploring the heuristic space, and LLM reflections to provide verbal gradients within the space. Across five heterogeneous algorithmic types, six different COPs, and both white-box and black-box views of COPs, ReEvo yields state-of-the-art and competitive meta-heuristics, evolutionary algorithms, heuristics, and neural solvers, while being more sample-efficient than prior LHHs.

研究动机与目标

• 激发在 NP-hard COPs 中使用 LLMs 来自动化启发式设计并减少手工工程工作量。
• 提出 Language Hyper-Heuristics (LHHs) 作为由 LLMs 驱动的开放式启发式空间。
• 引入 Reflective Evolution (ReEvo)，将短期/长期的口头反思与进化搜索相结合，以引导启发式生成。
• 展示 LHHs 和 ReEvo 在多种 COPs 中的鲁棒性，包括白盒与黑盒设置。
• 提供黑盒提示方法学和全面的实证评估，以建立可靠性和泛化性。

提出的方法

• 将 Language Hyper-Heuristic (LHH) 定义为其启发式方法由 LLMs 生成的 HH。
• 描述 ReEvo 基于种群的进化循环，包含五个步骤：选择、短期反思、交叉、长期反思、精英变异。
• 使用两个 LLM 角色（生成器和反思者）来产生并评估编码为代码片段的启发式方法。
• 结合短期和长期口头反思以指导子代生成和精英变异。
• 通过目标函数 F 评估启发式方法，F 由数据集上的平均性能估计，并设有验证和测试阶段。
• 提倡黑盒提示以测试鲁棒性并防止数据泄漏。

实验结果

研究问题

• RQ1 LLMs 能否为超出广泛研究问题的多种 COP 生成有效的启发式方法？
• RQ2 反思性提示（短期和长期）是否能改进搜索景观和解的质量？
• RQ3 当在没有特定问题细节的黑盒 COP 设置中给出策略时，LHHs 是否鲁棒？
• RQ4 就效率和泛化而言，ReEvo 与专家设计的启发式方法以及神经组合优化方法相比如何？
• RQ5 用 LLMs 进化启发式方法的计算效率和实用性如何？

主要发现

• ReEvo 在 12 种 COP 设定和三种启发式变体上提供了最先进的求解器。
• 引入反思可获得更平滑的适应度景观和更好的搜索性能。
• 由 ReEvo 生成的 LHHs 在几分钟内就能超越专家设计的启发式方法和神经求解器。
• ReEvo 在黑盒 COP 上显示出强劲的表现，推动鲁棒的算法设计自动化。
• 由 ReEvo 构建的 TSP 构造性启发式在多种规模下超越基线构造性启发式和 GHPP。
• 消融研究表明所有组件（反思、交叉、变异）对性能均有积极贡献。