[논문 리뷰] Reinforcement Learning to Solve NP-hard Problems: an Application to the CVRP

Leo Ardon|arXiv (Cornell University)|2022. 01. 14.

Vehicle Routing Optimization Methods인용 수 6

한 줄 요약

이 논문은 깊이 강화학습(DRL)을 사용하여 NP-난이도의 용량제한형 차량경로문제(CVRP)를 해결한다. Transformer 기반 정책 네트워크를 REINFORCE 알고리즘을 통해 훈련하여 순차적으로 해를 생성한다. 최고의 알려진 해를 달성하진 못했지만, 전통적 솔버보다 10배 빠르게 근사 최적해를 도출하여, 미리보지 않은 인스턴스에 대해 빠른 추론이 가능하며 실시간 상용 응용 분야에서 강력한 잠재력을 보여준다.

ABSTRACT

In this paper, we evaluate the use of Reinforcement Learning (RL) to solve a classic combinatorial optimization problem: the Capacitated Vehicle Routing Problem (CVRP). We formalize this problem in the RL framework and compare two of the most promising RL approaches with traditional solving techniques on a set of benchmark instances. We measure the different approaches with the quality of the solution returned and the time required to return it. We found that despite not returning the best solution, the RL approach has many advantages over traditional solvers. First, the versatility of the framework allows the resolution of more complex combinatorial problems. Moreover, instead of trying to solve a specific instance of the problem, the RL algorithm learns the skills required to solve the problem. The trained policy can then quasi instantly provide a solution to an unseen problem without having to solve it from scratch. Finally, the use of trained models makes the RL solver by far the fastest, and therefore make this approach more suited for commercial use where the user experience is paramount. Techniques like Knowledge Transfer can also be used to improve the training efficiency of the algorithm and help solve bigger and more complex problems.

연구 동기 및 목표

• NP-난이도의 조합 최적화 문제를 해결하기 위한 기존 정확법 및 휴리스틱 방법의 확장성 있고 일반화 가능한 대안으로 깊이 강화학습을 평가하기 위해.
• 용량제한형 차량경로문제(CVRP)에 대한 DRL의 성능을 평가하기 위해. 이는 고전적이고 계산적으로 도전적인 경로설정 문제이다.
• 해결 품질, 추론 속도, 훈련 효율성 측면에서 기존 솔버(LKH3 등)와의 비교를 통해 RL 기반 솔루션의 성능을 평가하기 위해.
• 특히 TSP 정책 재사용을 포함한 지식 전이 기법을 탐색하여, 다양한 문제 인스턴스 간의 훈련 효율성 향상과 일반화 능력 향상을 위해.
• 손으로 정의한 규칙 없이도 RL이 효과적인 휴리스틱을 자동으로 학습하고, 재훈련 없이도 새로운 문제 인스턴스에 일반화할 수 있는지 탐구하기 위해.

제안 방법

• 에이전트가 현재 상태를 기반으로 다음으로 방문할 고객을 선택하는 방식으로, CVRP를 강화학습 프레임워크 내의 순차적 의사결정 문제로 수식화한다.
• 다중 헤드 어텐션을 사용하는 Transformer 기반 신경망을 활용하여 차량 경로 환경의 상태를 인코딩함으로써 고객 위치의 순열 불변 표현을 가능하게 한다.
• 예상 보상(즉, 총 경로 비용 최소화)을 최대화하기 위해 정책 기반 강화학습 알고리즘인 REINFORCE를 사용하여 정책 네트워크를 훈련한다.
• 사전에 훈련된 TSP 정책으로 정책 초기화를 통해 지식 전이를 적용함으로써, CVRP 인스턴스에 대한 훈련 시간을 단축하고 수렴 속도를 향상시킨다.
• 배포 시기에는 높은 품질의 해를 신속하게 생성하기 위해 빔 서치 추론 전략을 사용한다.
• 해결 비용, 최적해와의 격차, 추론 시간 등의 지표를 사용하여 표준 벤치마크 인스턴스(CMT1, CMT2 등)에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 깊이 강화학습은 수작업으로 정의된 규칙 없이 CVRP에 효과적인 휴리스틱을 학습할 수 있으며, 기존 솔버와의 해 품질 비교는 어떻게 되는가?
• RQ2 특히 새로운 문제 인스턴스에 대해, RL 기반 솔버의 추론 속도는 정확법 및 휴리스틱 방법(LKH3 등)과 비교해 어떻게 되는가?
• RQ3 사전에 훈련된 TSP 정책에서의 지식 전이 기법이 더 복잡한 CVRP에 대해 훈련 효율성과 해 품질 향상에 얼마나 기여하는가?
• RQ4 재훈련 없이도 RL 정책이 새로운, 보지 않은 CVRP 인스턴스에 잘 일반화되는가? 그리고 얼마나 빠르게 해를 도출할 수 있는가?
• RQ5 기존의 전통적 MILP 기반 접근 방식보다, 동적 또는 불확실한 파rameter(예: 확률적 수요, 시간 창 등)를 가진 더 복잡한 VRP 변형 문제를 RL 프레임워크가 더 자연스럽게 다룰 수 있는가?

주요 결과

• CMT1 벤치마크(n=50, Q=160)에서 RL 기반 솔버는 평균 비용 531.9를 기록하여 최적해와 1.4% 격차를 보였으며, 최고의 알려진 휴리스틱과 유사한 성능을 보였다.
• 최적해를 달성하지 못했지만, LKH3 휴리스틱 솔버가 수분이 넘게 수렴하는 데 걸리는 것과는 달리, RL 모델은 최적해에 근접한 해를 10배 이상 더 빠르게 생성하였다.
• 사전에 훈련된 TSP 정책을 활용한 지식 전이로 훈련 시간이 단축되었으며, 동일한 해 품질(1.4% 격차)을 CMT1에서 확보하였다.
• 훈련된 RL 정책는 효과적으로 일반화 가능하다: 재훈련 없이도 새로운, 보지 않은 CVRP 인스턴스에 대해 근사 최적해를 거의 즉각적으로 생성할 수 있다.
• 전통적 방법보다 RL 프레임워크는 본질적으로 더 유연하고 확장성이 뛰어나며, 저지연 응답이 필수적인 실세계 응용 분야에 신속하게 도입할 수 있다.
• 이 방법은 표준 MILP 수식으로 모델링하기 어려운 동적 또는 불확실한 파rameter(예: 확률적 수요)를 가진 복잡한 VRP 변형 문제를 해결할 잠재력을 보였다.