[論文レビュー] Large Language Model for Multi-objective Evolutionary Optimization

Fei Liu, Xi Lin+5 more|arXiv (Cornell University)|Oct 19, 2023

Advanced Multi-Objective Optimization Algorithms被引用数 21

ひとこと要約

本論文はMOEA/D-LLMを提案する。 decomposi tion-based MOEA が、事前学習済みの大規模言語モデルを黒箱演算子として用いて子個体を生成する点、および LLM の挙動を模倣するランダム化線形演算子を用いた白箱変種（MOEA/D-LO）を持つ点を示す。

ABSTRACT

Multiobjective evolutionary algorithms (MOEAs) are major methods for solving multiobjective optimization problems (MOPs). Many MOEAs have been proposed in the past decades, of which the search operators need a carefully handcrafted design with domain knowledge. Recently, some attempts have been made to replace the manually designed operators in MOEAs with learning-based operators (e.g., neural network models). However, much effort is still required for designing and training such models, and the learned operators might not generalize well on new problems. To tackle the above challenges, this work investigates a novel approach that leverages the powerful large language model (LLM) to design MOEA operators. With proper prompt engineering, we successfully let a general LLM serve as a black-box search operator for decomposition-based MOEA (MOEA/D) in a zero-shot manner. In addition, by learning from the LLM behavior, we further design an explicit white-box operator with randomness and propose a new version of decomposition-based MOEA, termed MOEA/D-LO. Experimental studies on different test benchmarks show that our proposed method can achieve competitive performance with widely used MOEAs. It is also promising to see the operator only learned from a few instances can have robust generalization performance on unseen problems with quite different patterns and settings. The results reveal the potential benefits of using pre-trained LLMs in the design of MOEAs.To foster reproducibility and accessibility, the source code is https://github.com/FeiLiu36/LLM4MOEA.

研究の動機と目的

• MOEA オペレータ設計を、問題特化の訓練を最小限に抑えて自動化する動機づけ。
• PROMPT エンジニアリングを活用して MOEA/D のサブ問題の子個体を生成する。
• LLM の挙動を近似する解釈可能な白箱オペレータの開発。
• 多様な MOPs で競争力のある性能と頑健性を示す。

提案手法

• MOEA/D フレームワークと Chebyshev 集約を用いて MOP を複数の単一目的サブ問題に分解する。
• ゼロショット設定で各サブ問題の新しい子個体を生成するように LLM を誘導するため、プロンプト設計を用いる。
• LLM の出力を解析して MOEA/D フレームワークへ新しい個体を戻す再生機構を実装する。
• LLM の挙動を近似するランダム性を持つ明示的な線形演算子（W^LLM）を訓練し、MOEA/D-LO を定義する。
• LLM を確率的ウェイトを持つ重み付き線形演算子として白箱的に解釈できるように定式化して解釈を提供する。
• ZDT および UF ベンチマークスイートで評価し、NSGA-II、MOEA/D、MOEA/D-DE と比較する。

実験結果

リサーチクエスチョン

• RQ1 事前訓練済みのゼロショット LLM が、分解ベースの MOEA におけるサブ問題の黒箱演算子として効果的に機能しうるか？
• RQ2 LLM の挙動から導かれた明示的な白箱オペレータ（MOEA/D-LO）が、オンラインでの LLM 介在なしで競争力のある性能と頑健性を達成するか？
• RQ3 MOEA/D-LLM は標準的な bi-および tri-目的ベンチマークで従来の MOEAs と比較してどうか？
• RQ4 LLM ベースのオペレータを使用する際の計算コストと最適化性能のトレードオフはどうなるか？

主な発見

Problem	m	d	NSGA-II	MOEA/D	MOEA/D-DE	MOEA/D-LO
ZDT1	2	30	0.72228e-1	0.72244e-1	0.72213e-1	0.72228e-1
ZDT2	2	30	0.44664e-1	0.44704e-1	0.44678e-1	0.44772e-1
ZDT3	2	30	0.60036e0	0.59962e0	0.59962e0	0.59947e0
ZDT4	2	30	0.71915e0	0.71909e0	0.30118e0	0.72074e0
ZDT6	2	30	0.38988e0	0.39014e0	0.38989e0	0.39008e0
UF1	2	30	0.60865e0	0.55337e0	0.72008e0	0.65610e0
UF2	2	30	0.69163e0	0.68486e0	0.71355e0	0.70477e0
UF3	2	30	0.46110e0	0.37128e0	0.71112e0	0.49752e0
UF4	2	30	0.39117e0	0.36494e0	0.35691e0	0.40230e0
UF5	2	30	0.26451e0	0.47837e0	0.20729e0	0.26900e0
UF6	2	30	0.13390e0	0.43358e0	0.18326e0	0.30889e0
UF7	2	30	0.099248e0	0.38444e0	0.005358e0	0.29594e0
UF8	3	30	0.31429e0	0.38911e0	0.46184e0	0.42039e0
UF9	3	30	0.59876e0	0.59321e0	0.67511e0	0.67386e0

• MOEA/D-LLM は five RE インスタンスで MOEA/D-GA と比較可能な HV を達成し、PF の近似には顕著な重複が見られる。
• MOEA/D-LLM は、試験ベンチマークで従来の MOEAs と同様の HV 値と PF カバレッジを示す。
• MOEA/D-LO は、HV および IGD の観点でいくつかの ZDT および UF インスタンスで NSGA-II および MOEA/D を上回る。
• MOEA/D-LO は ZDT インスタンスで高速収束を示し、UF インスタンス全体で頑健な性能を示す。