[論文レビュー] Evolution of Heuristics: Towards Efficient Automatic Algorithm Design Using Large Language Model

Fei Liu, Xialiang Tong+6 more|arXiv (Cornell University)|Jan 4, 2024

Multimodal Machine Learning Applications被引用数 12

ひとこと要約

本論文は AEL を提案する。AEL は自動アルゴリズム設計フレームワークで、進化計算と大規模言語モデルを組み合わせて GLS アルゴリズムを局所探索をガイドしながら進化させ、TSP に適用する。小規模インスタンスではほぼ完璧なギャップを達成し、人間の介入なしで大きなインスタンスにも強い性能を示す。

ABSTRACT

Heuristics are widely used for dealing with complex search and optimization problems. However, manual design of heuristics can be often very labour extensive and requires rich working experience and knowledge. This paper proposes Evolution of Heuristic (EoH), a novel evolutionary paradigm that leverages both Large Language Models (LLMs) and Evolutionary Computation (EC) methods for Automatic Heuristic Design (AHD). EoH represents the ideas of heuristics in natural language, termed thoughts. They are then translated into executable codes by LLMs. The evolution of both thoughts and codes in an evolutionary search framework makes it very effective and efficient for generating high-performance heuristics. Experiments on three widely studied combinatorial optimization benchmark problems demonstrate that EoH outperforms commonly used handcrafted heuristics and other recent AHD methods including FunSearch. Particularly, the heuristic produced by EoH with a low computational budget (in terms of the number of queries to LLMs) significantly outperforms widely-used human hand-crafted baseline algorithms for the online bin packing problem.

研究の動機と目的

• 人間が作成したヒューリスティックに依存する必要性を減らすための自動アルゴリズム設計の必要性を動機づける。
• AEL を、コードレベルでアルゴリズムを設計するために進化計算と大規模言語モデルを結ぶフレームワークとして実証する。
• AEL 設計の GLS が複数の TSP ベンチマークにおいて人間設計の GLS を上回ることを示す。
• 競争力のあるメタヒューリスティクスを迅速に、人間の介入なしに開発できる潜在性を強調する。

提案手法

• AEL を提案・実装する。これは LLM 支援による作成、交叉、突然変異を含む進化的フレームワーク内でアルゴリズムを進化させる。
• 各アルゴリズムを次のように表現する： (i) 自然言語の記述、(ii) update_edge_distance という Python 関数、(iii) ベースラインに対する適合度。
• 貪欲的初期化と 1,000 イテレーションの評価を用いて Concorde に対する適合度を評価する。
• GLS のガイド距離行列を、 perturbation ステップ中に進化したアルゴリズムで更新する。
• 初期化、交叉、突然変異を導く LLM のプロンプト設計を用いて、多様で高品質なアルゴリズムを生成する。
• 適合度評価のために TSP100 のインスタンスで 64 個のランダムなインスタンスを用いて全体のプロセスを実行する（平均ギャップ）。

実験結果

リサーチクエスチョン

• RQ1 LLM 支援の進化フレームワークは、TSP の競争力のある GLS 変種を自動設計できるか。
• RQ2 AEL は複数の TSP 分布に渡って、人間設計の GLS やニューラルソルバーと比較して優れた性能と一般化を達成するか。
• RQ3 prompting 戦略と突然変異/交叉設計が、進化したアルゴリズムの品質と多様性にどのような影響を与えるか。

主な発見

• AEL はほぼ人間の介入やモデル訓練なしで約2日間でエリート GLS アルゴリズムを進化させる。
• 進化した AEL-GLS は TSP20 および TSP50 で 0% ギャップ、TSP100 で 1,000 イテレーション内に 0.032% ギャップを達成する。
• AEL-GLS は最先端の人間設計 GLS 変種と複数のニューラルソルバーを平均ギャップと実行時間の点で上回る。
• TSPLib インスタンス上で、AEL-GLS はニューラルソルバーおよび GLS アルゴリズムを上回り、ギャップを大幅に縮小する。
• このアプローチは、LLMs がスタンドアロンのソルバーとして機能するのではなく、最適化アルゴリズムの進化を導く新しいパラダイムを示す。
• 問題サイズ全体での一般化性能は強く、TSP100 で進化したアルゴリズムは小さなサイズ（TSP20、TSP50）でも 0% ギャップを達成する。