[논문 리뷰] Large Language Model for Multi-objective Evolutionary Optimization

Fei Liu, Xi Lin외 5명|arXiv (Cornell University)|2023. 10. 19.

Advanced Multi-Objective Optimization Algorithms인용 수 21

한 줄 요약

이 논문은 사전 학습된 대형 언어 모델을 자흑상자 연산자로 사용해 자손을 생성하는 분해 기반 다목적 진화 알고리즘 MOEA/D-LLM를 제시하고, 무작위 선형 연산자를 통해 LLM 동작을 모방하는 해석 가능한 화이트박스 변형 MOEA/D-LO를 추가로 제안한다.

ABSTRACT

Multiobjective evolutionary algorithms (MOEAs) are major methods for solving multiobjective optimization problems (MOPs). Many MOEAs have been proposed in the past decades, of which the search operators need a carefully handcrafted design with domain knowledge. Recently, some attempts have been made to replace the manually designed operators in MOEAs with learning-based operators (e.g., neural network models). However, much effort is still required for designing and training such models, and the learned operators might not generalize well on new problems. To tackle the above challenges, this work investigates a novel approach that leverages the powerful large language model (LLM) to design MOEA operators. With proper prompt engineering, we successfully let a general LLM serve as a black-box search operator for decomposition-based MOEA (MOEA/D) in a zero-shot manner. In addition, by learning from the LLM behavior, we further design an explicit white-box operator with randomness and propose a new version of decomposition-based MOEA, termed MOEA/D-LO. Experimental studies on different test benchmarks show that our proposed method can achieve competitive performance with widely used MOEAs. It is also promising to see the operator only learned from a few instances can have robust generalization performance on unseen problems with quite different patterns and settings. The results reveal the potential benefits of using pre-trained LLMs in the design of MOEAs.To foster reproducibility and accessibility, the source code is https://github.com/FeiLiu36/LLM4MOEA.

연구 동기 및 목표

• 문제별 특화 학습을 최소화하여 MOEA 연산자 설계를 자동화하는 것을 목표로 한다.
• 프롬프트 엔지니어링된 LLM을 활용해 MOEA/D의 각 서브문제에 대한 자손을 생성한다.
• LLM 동작을 근사하는 해석 가능한 화이트박스 연산자를 개발한다.
• 다양한 MOP에서 경쟁력 있는 성능과 강건성을 보여준다.

제안 방법

• MOEA/D 프레임워크를 사용한 Chebyshev 집계로 다중 목표 최적화를 여러 개의 단일 목표 서브문제로 분해한다.
• 제로샷 설정에서 프롬프트 엔지니어링을 통해 각 서브문제에 대한 새로운 자손 생성을 유도한다.
• LLM의 출력을 해석하고 MOEA/D 프레임워크로 재삽입하는 재생산 메커니즘을 구현한다.
• LLM의 동작을 근사하도록 무작위성을 갖는 명시적 선형 연산자(W^LLM)를 학습하고 MOEA/D-LO를 정의한다.
• 확률적 가중치를 갖는 가중 선형 연산자로 LLM을 화이트박스 해석으로 제시한다.
• ZDT 및 UF 벤치마크 세트에서 평가하고 NSGA-II, MOEA/D, MOEA/D-DE와 비교한다.

실험 결과

연구 질문

• RQ1 사전 학습된 제로샷 LLM이 분해 기반 MOEA의 서브문제에 대한 효과적인 블랙박스 연산자로 작용할 수 있는가?
• RQ2 LLM 동작에서 파생된 명시적 화이트박스 연산자(MOEA/D-LO)가 온라인 LLM 상호작용 없이도 경쟁력 있는 성능과 강건성을 달성하는가?
• RQ3 MOEA/D-LLM이 표준 이진/삼중 목표 벤치마크에서 전통적 MOEA와 어떻게 비교되는가?
• RQ4 LLM 기반 연산자 사용의 계산 비용과 최적화 성능 사이의 트레이드오프는 무엇인가?

주요 결과

문제	m	d	NSGA-II	MOEA/D	MOEA/D-DE	MOEA/D-LO
ZDT1	2	30	0.72228e-1	0.72244e-1	0.72213e-1	0.72228e-1
ZDT2	2	30	0.44664e-1	0.44704e-1	0.44678e-1	0.44772e-1
ZDT3	2	30	0.60036e0	0.59962e0	0.59962e0	0.59947e0
ZDT4	2	30	0.71915e0	0.71909e0	0.30118e0	0.72074e0
ZDT6	2	30	0.38988e0	0.39014e0	0.38989e0	0.39008e0
UF1	2	30	0.60865e0	0.55337e0	0.72008e0	0.65610e0
UF2	2	30	0.69163e0	0.68486e0	0.71355e0	0.70477e0
UF3	2	30	0.46110e0	0.37128e0	0.71112e0	0.49752e0
UF4	2	30	0.39117e0	0.36494e0	0.35691e0	0.40230e0
UF5	2	30	0.26451e0	0.47837e0	0.20729e0	0.26900e0
UF6	2	30	0.13390e0	0.43358e0	0.18326e0	0.30889e0
UF7	2	30	0.099248e0	0.38444e0	0.005358e0	0.29594e0
UF8	3	30	0.31429e0	0.38911e0	0.46184e0	0.42039e0
UF9	3	30	0.59876e0	0.59321e0	0.67511e0	0.67386e0

• MOEA/D-LLM은 다섯 개의 RE 인스턴스에서 MOEA/D-GA에 비해 HV가 경쟁적이며 근사 PF의 중복이 상당히 존재한다.
• MOEA/D-LLM은 테스트 벤치에서 전통적 MOEA와 유사한 HV 값과 PF 커버리지를 보여 경쟁력을 입증한다.
• MOEA/D-LO는 다수의 ZDT 및 UF 인스턴스에서 HV 및 IGD 측면에서 NSGA-II 및 MOEA/D를 능가한다.
• MOEA/D-LO는 ZDT 인스턴스에서 더 빠르게 수렴하고 UF 인스턴스 전반에서 강건한 성능을 보여준다.