[論文レビュー] ReEvo: Large Language Models as Hyper-Heuristics with Reflective Evolution

Haoran Ye, Jiarui Wang+6 more|arXiv (Cornell University)|Feb 2, 2024

Topic Modeling被引用数 10

ひとこと要約

本論文は Language Hyper-Heuristics (LHHs) および Reflective Evolution フレームワーク (ReEvo) を提案し、広範な組合せ最適化問題に対して heuristics を生成・反省させるために LLMs を使用し、ブラックボックス COPs を含む最先端の結果を達成します。

ABSTRACT

The omnipresence of NP-hard combinatorial optimization problems (COPs) compels domain experts to engage in trial-and-error heuristic design. The long-standing endeavor of design automation has gained new momentum with the rise of large language models (LLMs). This paper introduces Language Hyper-Heuristics (LHHs), an emerging variant of Hyper-Heuristics that leverages LLMs for heuristic generation, featuring minimal manual intervention and open-ended heuristic spaces. To empower LHHs, we present Reflective Evolution (ReEvo), a novel integration of evolutionary search for efficiently exploring the heuristic space, and LLM reflections to provide verbal gradients within the space. Across five heterogeneous algorithmic types, six different COPs, and both white-box and black-box views of COPs, ReEvo yields state-of-the-art and competitive meta-heuristics, evolutionary algorithms, heuristics, and neural solvers, while being more sample-efficient than prior LHHs.

研究の動機と目的

• NP-hard COP でヒューリスティック設計を自動化するために LLMs の利用を動機づけ、手動のエンジニアリング作業を削減する。
• Language Hyper-Heuristics (LHHs) を、LLMs によって駆動されるオープンエンドなヒューリスティック空間として提案する。
• 短期・長期の言語的反省を進化的探索と組み合わせてヒューリスティック生成を導くReflective Evolution (ReEvo) を導入する。
• 白箱・黒箱設定を含む複数の COP に対する LHHs と ReEvo の頑健性を実証する。
• 信頼性と一般化性を確立するためのブラックボックス prompting 手法と包括的な実証的評価を提供する。

提案手法

• Language Hyper-Heuristic (LHH) を、ヒューリスティックが LLMs によって生成される HH として定義する。
• ReEvo の集団ベースの進化ループを、選択、短期反省、交叉、長期反省、エリート変異の五つのステップで説明する。
• 二つの LLM 役割（ジェネレーターとリフレクター）を用いて、コードスニペットとしてエンコードされたヒューリスティックを生成・批評する。
• 子孫生成とエリート変異を導くために、短期および長期の言語的反省を取り入れる。
• データセット全体の平均性能で推定される目的関数 F を用いてヒューリスティックを評価し、検証フェーズとテストフェーズを設ける。
• 信頼性と一般化性を確立するためのブラックボックス prompting を促進する。

実験結果

リサーチクエスチョン

• RQ1 LLMs は、研究対象としてよく扱われてきた problems を超える幅広い COP に対して効果的なヒューリスティックを生成できるか？
• RQ2 反省的な prompt（短期および長期）は探索空間と解の質を改善するか？
• RQ3 問題固有の詳細がないブラックボックス COP 設定において、方針が与えられている場合 LHHs は頑健か？
• RQ4 効率と一般化能力の観点から、ReEvo は専門家設計のヒューリスティックやニューラル組合せ最適化アプローチとどのように比較されるか？
• RQ5 LLMs を用いたヒューリスティックの進化の計算効率と実用性はどの程度か？

主な発見

• ReEvo は 12 の COP 設定と 3 つのヒューリスティック変種において最先端のソルバーを提供する。
• 反省の導入により適応度の景観が滑らかになり、探索性能が向上する。
• ReEvo によって生成された LHHs は、専門家設計のヒューリスティクスやニューラルソルバーを数分以内に凌ぐ。
• ReEvo はブラックボックス COP で強力な性能を示し、頑健なアルゴリズム設計の自動化を実現する。
• ReEvo によって構築された TSP の constructive ヒューリスティクスは、複数サイズでベースラインの constructive ヒューリスティクスと GHPP を上回る。
• アブレーション研究は、反省、交叉、突然変異のすべての構成要素が性能に正の寄与をすることを示している。