[논문 리뷰] Beyond the Node: Clade-level Selection for Efficient MCTS in Automatic Heuristic Design

Kezhao Lai, Yutao Lai외 1명|arXiv (Cornell University)|2026. 01. 31.

Advanced Multi-Objective Optimization Algorithms인용 수 0

한 줄 요약

Clade-AHD는 노드 수준의 점 추정치를 계통군 수준의 베이지안 신념과 Thompson Sampling으로 교체하여 자동 휴리스틱 설계에 대해 MCTS를 안내하고, 복잡한 조합 문제에서 더 나은 성능과 더 낮은 계산 비용을 달성합니다.

ABSTRACT

While Monte Carlo Tree Search (MCTS) shows promise in Large Language Model (LLM) based Automatic Heuristic Design (AHD), it suffers from a critical over-exploitation tendency under the limited computational budgets required for heuristic evaluation. To address this limitation, we propose Clade-AHD, an efficient framework that replaces node-level point estimates with clade-level Bayesian beliefs. By aggregating descendant evaluations into Beta distributions and performing Thompson Sampling over these beliefs, Clade-AHD explicitly models uncertainty to guide exploration, enabling more reliable decision-making under sparse and noisy evaluations. Extensive experiments on complex combinatorial optimization problems demonstrate that Clade-AHD consistently outperforms state-of-the-art methods while significantly reducing computational cost. The source code is publicly available at: https://github.com/Mriya0306/Clade-AHD.

연구 동기 및 목표

• LLM 주도 AHD에서 희소한 평가 예산 하의 MCTS에서 과도한 탐색 문제를 동기화하고 해결한다.
• 노드 수준 값 대신 계통군 수준 잠재력을 모델링하는 계층적 베이지안 추상화를 도입한다.
• 깊이에 따른 감소된 크레딧 할당을 갖춘 Clade-aware belief update 메커니즘을 개발한다.
• 탐색-활용 균형을 위한 예산 인식 어닐링이 적용된 Clade-level Thompson Sampling 정책을 제안한다.
• 서브옵티멈 계통군을 가지치기하고 자원을 효율적으로 배분하는 Dynamic Clade Freezing을 구현한다.

제안 방법

• 검색 트리에서 clade를 조상과 그 모든 자손으로 정의한다.
• clade 잠재력을 Beta 분포로 모델링하고 깊이 감소를 통해 증거를 하향 전파한다.
• descendant 증거를 Clade-aware belief update를 사용하여 모아 clade-level alpha 및 beta 매개변수를 계산한다.
• Clade-level Thompson Sampling에 온도 기반 예산 어닐링을 적용하여 확장할 clade를 선택한다.
• 최소 방문수와 간격 기준에 기반해 Suboptimal clades를 가지치기하기 위해 Dynamic Clade Freezing을 사용한다.

실험 결과

연구 질문

• RQ1 Clade-level Bayesian beliefs가 AHD를 위한 MCTS의 희소 평가에서 탐색-활용 균형을 개선할 수 있는가?
• RQ2 clade 수준에서 하향식으로 증거를 집계하는 것이 노드 중심 방법에 비해 추정 분산을 줄이는가?
• RQ3 budget-aware Thompson Sampling이 Clade-AHD의 탐색 동학과 수렴에 어떤 영향을 주는가?
• RQ4 Dynamic Clade Freezing이 자원 배분과 성능에 미치는 영향은 무엇인가?

주요 결과

• Clade-AHD는 복잡한 조합 문제에서 일관되게 최첨단 방법들보다 성능을 향상시킨다.
• 계층화된 clade 신념을 모델링하면 희소 관찰하에서 추정 분산이 감소한다.
• budget-aware 어닐링을 갖춘 Clade-level Thompson Sampling은 예산이 진행됨에 따라 탐색과 활용의 균형을 효과적으로 조정한다.
• Dynamic Clade Freezing은 최적의 잠재력을 가진 clade에 계산을 집중시키고 비효율적인 분기를 가지치한다.
• Abalation 연구는 Dynamic Freezing, Temperature Annealing, Depth-attenuated backpropagation, pseudo-evaluations, 적응 정규화와 같은 구성요소의 중요성을 확인한다.