[論文レビュー] Rethinking LLM-Driven Heuristic Design: Generating Efficient and Specialized Solvers via Dynamics-Aware Optimization

Rongzheng Wang, Yihong Huang+7 more|arXiv (Cornell University)|Jan 14, 2026

Advanced Multi-Objective Optimization Algorithms被引用数 0

ひとこと要約

DASHを導入。ソルバ検索機構とランタイムスケジュールを共最適化し、分布シフトに対応するプロファイルベースのウォームスタートを用いたダイナミクス認識フレームワークで、効率と専門化を実現するソルバーを生成する。

ABSTRACT

Large Language Models (LLMs) have advanced the field of Combinatorial Optimization through automated heuristic generation. Instead of relying on manual design, this LLM-Driven Heuristic Design (LHD) process leverages LLMs to iteratively generate and refine solvers to achieve high performance. However, existing LHD frameworks face two critical limitations: (1) Endpoint-only evaluation, which ranks solvers solely by final quality, ignoring the convergence process and runtime efficiency; (2) High adaptation costs, where distribution shifts necessitate re-adaptation to generate specialized solvers for new instance groups. To address these issues, we propose Dynamics-Aware Solver Heuristics (DASH), a framework that co-optimizes solver search mechanisms and runtime schedules guided by a convergence-aware metric, thereby identifying efficient and high-performance solvers. Furthermore, to mitigate expensive re-adaptation, DASH incorporates Profiled Library Retrieval (PLR). PLR efficiently archives specialized solvers concurrently with the evolutionary process, enabling cost-effective warm-starts for heterogeneous distributions. Experiments on four combinatorial optimization problems demonstrate that DASH improves runtime efficiency by over 3 times, while surpassing the solution quality of state-of-the-art baselines across diverse problem scales. Furthermore, by enabling profile-based warm starts, DASH maintains superior accuracy under different distributions while cutting LLM adaptation costs by over 90%.

研究の動機と目的

• エンドポイントのみの評価と高い適応コストが、組み合わせ最適化のLLM駆動ヒューリスティック設計において制約になることを動機づける。
• 探索機構とランタイムスケジュールを収束認識指標に導かれて共最適化するダイナミクス認識フレームワーク（DASH）を提案する。
• 分布間のコスト効率的なウォームスタートを実現する専門ソルバーをアーカイブ・再利用するProfiled Library Retrieval（PLR）を導入する。
• 複数の組み合わせ最適化問題とソルバー背骨でDASHを検証し、実行時間効率と解の品質の改善を示す。
• 軌道中心の評価ツール（tLDR）を提供し、収束ダイナミクスを定量化し共進化を導く。

提案手法

• ソルバー実行を z(k+1)=F(z(k); x, θ, σ) と累積時間 τ を用いた時間発展軌道としてモデル化する。
• 軌道ベースのリーヴポテンシャル V(τ) を、現職者とターゲット最適性のギャップおよびスケール一貫性の比較のための対数空間進捗 ell(τ) によって定義する。
• 軌道認識的リサンダンペレント Decay Rate（tLDR） κ(T) = (2/T)(ell(0) - J(T)) を導入し、迅速で持続的な収束を測定する。
• 最適化を三層に分解する：θ 更新のためのMechanism Discovery Layer (MDL)、コードリファクタリングのためのMechanism Consolidation Layer (MCL)、σ 更新のためのSchedule Shaping Layer (SSL)。
• 二段階のSSL を採用：ランタイムスラックを圧縮して圧縮を減らす段、予算配分を改善する段；受理は ell(T) と tLDR に基づく。
• Profiled Library Retrieval (PLR) を組み込み、グローバルな集団とテスト時の高速なプロファイル認識ウォームスタート用のグループ固有アーカイブを維持する。

実験結果

リサーチクエスチョン

• RQ1 ダイナミクス認識評価（軌道ベース）は、エンドポイントのみの手法と比較してLLM駆動ヒューリスティック設計の質と効率を改善するか。
• RQ2 ソルバー機構とランタイムスケジュールを共進化させると、いずれか一方を単独で進化させるより良い性能を発揮するか。
• RQ3 Profiled Library Retrieval（PLR）は一般化を改善し、分布シフトに対する適応コストを削減するか。
• RQ4 異なるソルバー背骨や組み合わせ最適化の問題領域間で、アプローチはどれほど効果的に移行するか。

主な発見

• DASHは4つの組み合わせ最適化問題で、最先端ベースラインを上回る解の質と共に、実行時間を3倍超の効率化を達成。
• tLDR 指向の共進化は、エンドポイントのみのトレードオフを回避し、速く安定した anytime 改善が可能なソルバーを選好する。
• PLR はプロファイルベースのウォームスタートを実現し、分布シフト下での精度を維持し、LLM の適応コストを90%以上削減。
• DASH はGLS、ILS、LKH などのソルバー背骨間で移行可能で、分布シフト下でも頑健性を保ち、トークン使用の過度さを抑える。
• アブレーションによりSSLの圧縮が最大のランタイム削減を生み、tLDR を除去するとランタイムと品質の両方が劣化する一方、PLR は両指標に寄与する。