[논문 리뷰] ReEvo: Large Language Models as Hyper-Heuristics with Reflective Evolution

Haoran Ye, Jiarui Wang외 6명|arXiv (Cornell University)|2024. 02. 02.

Topic Modeling인용 수 10

한 줄 요약

본 논문은 Language Hyper-Heuristics (LHHs)와 Reflective Evolution 프레임워크(ReEvo)를 제안하며, LLMs를 사용해 광범위한 조합 최적화 문제에 대한 휴리스틱을 생성하고 반영하도록 하고, 블랙박스 COP를 포함한 최첨단 성과를 달성한다.

ABSTRACT

The omnipresence of NP-hard combinatorial optimization problems (COPs) compels domain experts to engage in trial-and-error heuristic design. The long-standing endeavor of design automation has gained new momentum with the rise of large language models (LLMs). This paper introduces Language Hyper-Heuristics (LHHs), an emerging variant of Hyper-Heuristics that leverages LLMs for heuristic generation, featuring minimal manual intervention and open-ended heuristic spaces. To empower LHHs, we present Reflective Evolution (ReEvo), a novel integration of evolutionary search for efficiently exploring the heuristic space, and LLM reflections to provide verbal gradients within the space. Across five heterogeneous algorithmic types, six different COPs, and both white-box and black-box views of COPs, ReEvo yields state-of-the-art and competitive meta-heuristics, evolutionary algorithms, heuristics, and neural solvers, while being more sample-efficient than prior LHHs.

연구 동기 및 목표

• NP-hard COP에서 휴리스틱 설계를 자동화하기 위해 LLM의 활용을 촉진하고 수동 엔지니어링 노력을 줄인다.
• LLMs에 의해 구동되는 개방형 휴리스틱 공간으로서 Language Hyper-Heuristics (LHHs)를 제안한다.
• 휴리스틱 생성을 안내하기 위해 단기 및 장기 구두 반성을 진화적 탐색과 결합하는 Reflective Evolution (ReEvo)를 도입한다.
• 화이트박스 및 블랙박스 설정을 포함한 여러 COP에서 LHHs와 ReEvo의 강인성을 입증한다.
• 신뢰성과 일반화를 확립하기 위한 블랙박스 프롬프팅 방법론과 포괄적 실증 평가를 제공한다.

제안 방법

• Language Hyper-Heuristic (LHH)을 휴리스틱이 LLM에 의해 생성된 HH로 정의한다.
• 다섯 단계로 구성된 집단 기반 진화 루프(ReEvo)를 설명한다: 선택, 단기 반성, 교차, 장기 반성, 엘리트 변이.
• 생성자(generator)와 반사자(reflector)의 두 가지 LLM 역할을 사용하여 코드 조각으로 인코딩된 휴리스틱을 생성하고 비판한다.
• 자식 생성 및 엘리트 변이를 안내하기 위해 단기 및 장기 구두 반성을 포함한다.
• 데이터셋의 평균 성능으로 추정된 객관적 F를 통해 휴리스틱을 평가하고, 검증 및 테스트 단계를 둔다.
• 강건성을 테스트하고 데이터 누수를 방지하기 위해 블랙박스 프롬프팅을 촉진한다.

실험 결과

연구 질문

• RQ1 LLMs가 잘 연구된 문제를 넘어 광범위한 COP들에 대해 효과적인 휴리스틱을 생성할 수 있는가?
• RQ2 반사적 프롬프트(단기 및 장기)가 탐색 지형과 해답 품질을 향상시키는가?
• RQ3 문제별 세부 정보 없이 블랙박스 COP 설정에서 정책이 주어질 때 LHHs가 강인한가?
• RQ4 효율성과 일반화 측면에서 ReEvo가 전문가가 설계한 휴리스틱 및 신경계 기반 조합 최적화 접근법과 어떻게 비교되는가?
• RQ5 LLM으로 휴리스틱을 진화시키는 계산 효율성과 실용성은 어느 정도인가?

주요 결과

• ReEvo는 12개의 COP 설정과 세 가지 휴리스틱 변형에서 최첨단 해결책을 제공합니다.
• 반성의 포함은 더 매끄러운 적합도 지형과 더 나은 탐색 성능을 가져옵니다.
• ReEvo가 생성한 LHH는 수 분 이내에 전문가 설계 휴리스틱 및 신경 솔버를 능가할 수 있습니다.
• 블랙박스 COP에서 강력한 성능을 보여주며 안정적인 알고리즘 설계 자동화를 가능하게 합니다.
• ReEvo가 구성한 TSP용 구성적 휴리스틱은 다수의 크기에서 기본 구성적 휴리스틱 및 GHPP를 능가합니다.
• 소거 연구는 모든 구성요소(반성, 교차, 변이가) 성능에 긍정적으로 기여함을 보여줍니다.