[논문 리뷰] Simulation-guided Beam Search for Neural Combinatorial Optimization

Jinho Choo, Y. Kwon외 5명|arXiv (Cornell University)|2022. 07. 13.

Advanced Neural Network Applications인용 수 21

한 줄 요약

시뮬레이션-가이드 빔 서치(SGBS)를 신경망 조합 최적화에 도입하여 신경 정책 가이던스와 롤아웃을 결합하고, Efficient Active Search(EAS)와 추가로 결합시켜 TSP, CVRP, FFSP에서 해법 품질을 향상시킵니다.

ABSTRACT

Neural approaches for combinatorial optimization (CO) equip a learning mechanism to discover powerful heuristics for solving complex real-world problems. While neural approaches capable of high-quality solutions in a single shot are emerging, state-of-the-art approaches are often unable to take full advantage of the solving time available to them. In contrast, hand-crafted heuristics perform highly effective search well and exploit the computation time given to them, but contain heuristics that are difficult to adapt to a dataset being solved. With the goal of providing a powerful search procedure to neural CO approaches, we propose simulation-guided beam search (SGBS), which examines candidate solutions within a fixed-width tree search that both a neural net-learned policy and a simulation (rollout) identify as promising. We further hybridize SGBS with efficient active search (EAS), where SGBS enhances the quality of solutions backpropagated in EAS, and EAS improves the quality of the policy used in SGBS. We evaluate our methods on well-known CO benchmarks and show that SGBS significantly improves the quality of the solutions found under reasonable runtime assumptions.

연구 동기 및 목표

• 해결 시간(계산 시간)을 활용하는 신경 조합 최적화에 대한 효율적 추론의 필요성을 제기한다.
• 신경 정책과 롤아웃에 의해 안내되는 빔 검색과 같은 절차를 개발하여 해법의 품질을 향상시킨다.
• SGBS를 Efficient Active Search(EAS)와 하이브리드화하여 더 긴 시간 예산에서 성능을 추가로 향상시킨다.
• 표준 CO 벤치마크인 TSP, CVRP, FFSP에서 최첨단 신경 및 수작업 솔버와 비교하여 효과를 입증한다.

제안 방법

• SGBS를 고정 너비 트리에서 작동하는 세 단계 탐색(확장 Expansion, 시뮬레이션 Simulation, 가지치기 Pruning)으로 정의한다.
• 확장은 신경 정책 확률에 따라 빔 노드당 상위 gamma 자식 노드를 선택한다.
• 시뮬레이션은 탐 후보 노드를 평가하기 위해 탐욕적 롤아웃을 수행하고 보상을 부여한다.
• 가지치기는 롤아웃 보상이 가장 높은 상위 beta 노드를 남겨 두고 탐색을 계속한다.
• SGBS와 모델 파라미터 업데이트를 교대로 수행하여 샘플링을 안내하는 방식으로 SGBS와 EAS를 통합한다.
• 문제 분포에서 정책 네트워크를 사전 학습하고 추론 중에 EAS로 미세조정하여 시간 예산을 활용한다.

실험 결과

연구 질문

• RQ1 신경 정책을 롤아웃 기반 평가와 보강하여 CO 문제의 구성 단계 탐색을 어떻게 개선할 수 있는가?
• RQ2 고정된 시간 예산에서 시뮬레이션 가이드 빔 서치가 표준 샘플링, 탐욕적 탐색 및 일반 빔 서치보다 해법 품질 측면에서 우수한가?
• RQ3 SGBS와 EAS를 결합하면 장기 최적화에서 추가 이점을 얻을 수 있는가?
• RQ4 분포 변동과 모델 보정 실패에 대해 SGBS 및 SGBS+EAS의 이점이 견고한가?
• RQ5 SGBS 및 SGBS+EAS가 TSP, CVRP, FFSP에서 수작업 솔버 및 다른 신경 방법과 비교해 경쟁력 있는 성능을 달성할 수 있는가?

주요 결과

• SGBS는 TSP, CVRP, FFSP에서 유사한 실행 시간 내에 샘플링과 빔 서치를 능가한다.
• SGBS+EAS는 TSP 및 CVRP에서 EAS 단독에 비해 해법 간격을 크게 줄인다(예: 다양한 설정에서 약 3분의 1에서 2분의 1 수준의 격차 감소).
• n=100인 CVRP에서 SGBS+EAS는 테스트 시나리오에서 수작업 솔버(HGS)에 매우 작은 격차를 기록한다(예: 0.11%).
• SGBS는 순수 확률적 방법이 저하되는 분포 이동에서 강건성을 보이며, 반면 EAS와 MCTS는 실행 시간이 느리거나 더 광범위한 역전파가 필요하다.
• FFSP에서 SGBS+EAS는 전통적 CO 방법을 크게 능가하고 신경 기반 기준에 근접하여, 이 방법의 폭넓은 적용 가능성을 보여준다.