[논문 리뷰] Rethinking LLM-Driven Heuristic Design: Generating Efficient and Specialized Solvers via Dynamics-Aware Optimization

Rongzheng Wang, Yihong Huang외 7명|arXiv (Cornell University)|2026. 01. 14.

Advanced Multi-Objective Optimization Algorithms인용 수 0

한 줄 요약

DASH 도입은 경로 기반의 수렴 지표로 가이드되는 다이나믹스 인식 프레임워크를 제시하여, 배포 변화(distribution shifts)에 대비한 프로파일 기반의 웜 스타트를 활용하고, 솔버 탐색 메커니즘과 런타임 스케줄의 공동 최적화를 통해 효율적이고 특화된 솔버를 생성한다.

ABSTRACT

Large Language Models (LLMs) have advanced the field of Combinatorial Optimization through automated heuristic generation. Instead of relying on manual design, this LLM-Driven Heuristic Design (LHD) process leverages LLMs to iteratively generate and refine solvers to achieve high performance. However, existing LHD frameworks face two critical limitations: (1) Endpoint-only evaluation, which ranks solvers solely by final quality, ignoring the convergence process and runtime efficiency; (2) High adaptation costs, where distribution shifts necessitate re-adaptation to generate specialized solvers for new instance groups. To address these issues, we propose Dynamics-Aware Solver Heuristics (DASH), a framework that co-optimizes solver search mechanisms and runtime schedules guided by a convergence-aware metric, thereby identifying efficient and high-performance solvers. Furthermore, to mitigate expensive re-adaptation, DASH incorporates Profiled Library Retrieval (PLR). PLR efficiently archives specialized solvers concurrently with the evolutionary process, enabling cost-effective warm-starts for heterogeneous distributions. Experiments on four combinatorial optimization problems demonstrate that DASH improves runtime efficiency by over 3 times, while surpassing the solution quality of state-of-the-art baselines across diverse problem scales. Furthermore, by enabling profile-based warm starts, DASH maintains superior accuracy under different distributions while cutting LLM adaptation costs by over 90%.

연구 동기 및 목표

• 조합 최적화를 위한 LLM 기반 휴리스틱 설계에서 엔드포인트(단일 지점) 평가의 한계와 높은 적응 비용을 강조한다.
• 수렴 인식 메트릭에 의해 가이드되는 검색 메커니즘과 런타임 스케줄을 공동 최적화하는 다이나믹스 인식 프레임워크(DASH)를 제안한다.
• 전 분포에 걸친 비용 효율적 웜 스타트를 위해 특화 솔버를 보관하고 재사용하는 Profiled Library Retrieval (PLR)을 도입한다.
• 여러 가지 조합 최적화 문제와 솔버 백본에서 DASH를 검증하여 런타임 효율성과 해의 품질이 향상됨을 보인다.
• 수렴 다이나크를 정량화하고 공동 진화를 유도하기 위한 궤적 중심 평가 도구(tLDR)를 제공한다.

제안 방법

• 모델 솔버 실행을 z(k+1)=F(z(k); x, θ, σ) 및 누적 시간 τ를 갖는 시간 진화 궤적으로 모델링한다.
• 목표 최적성에 대한 현업자 격차 및 궤적의 로그-공간 진행을 통해 규모 일관된 비교를 가능하게 하는 궤적 기반 라이야푸노프Potent V(τ)를 정의한다.
• 빠르고 지속적인 수렴을 측정하기 위한 Trajectory-aware Lyapunov Decay Rate (tLDR) kappa(T) = (2/T)(ell(0) - J(T))를 도입한다.
• 최적화를 세 가지 층으로 분해한다: θ 업데이트를 위한 메커니즘 발견층(MDL), 코드 리팩토링을 위한 메커니즘 응집층(MCL), σ 업데이트를 위한 스케줄링 형성층(SSL).
• 두 단계의 SSL를 사용한다: 런타임 여유를 줄이기 위한 압축 then 예산의 더 나은 배분을 위한 향상; 수용은 ell(T) 및 tLDR에 의해 guided된다.
• 전역 인구를 유지하고 테스트 시점에 빠른 프로파일 인식 웜 스타트를 돕기 위한 프로파일드 라이브러리 검색(PLR)을 도입한다.

실험 결과

연구 질문

• RQ1 다이나믹스 인식 평가(궤적 기반)가 엔드포인트만으론 얻기 어려운 품질과 효율성을 LLM 주도 휴리스틱 설계에 제공할 수 있는가?
• RQ2 솔버 메커니즘과 런타임 스케줄을 함께 진화시키는 것이 각각의 구성 요소를 독립적으로 진화시키는 것보다 더 나은 성능을 제공하는가?
• RQ3 Profiled Library Retrieval(PLR)이 일반화와 분포 변화에 따른 적응 비용을 줄여주는가?
• RQ4 이 접근법이 서로 다른 솔버 백본과 조합 최적화 문제 도메인 간에 얼마나 잘 전이되는가?

주요 결과

• DASH는 네 가지 조합 최적화 문제에서 최적 Baselines를 능가하는 해 품질과 함께 3배가 넘는 런타임 효율 향상을 달성한다.
• tLDR 유도 공동 진화는 엔드포인트만의 트레이드오프를 피하고 빠르고 안정적인 아무타임 개선이 가능한 솔버를 선호한다.
• PLR은 분포 변화 하에서도 정확도를 유지하고 LLM의 적응 비용을 90% 이상 줄이며 프로파일 기반 웜 스타트를 가능하게 한다.
• DASH는 GLS, ILS, LKH 등 다양한 솔버 백본으로의 전이성을 보이며 분포 변화 하에서도 토큰 사용이 과도하지 않다.
• 변형 연구에서 SSL 압축이 대부분의 런타임 감소를 주도하고, tLDR를 제거하면 런타임과 품질 모두 저하되며 PLR은 두 지표 모두에 기여한다.