[논문 리뷰] Reinforcement Learning for Solving the Vehicle Routing Problem

Mohammadreza Nazari, Afshin Oroojlooy외 2명|arXiv (Cornell University)|2018. 02. 12.

Vehicle Routing Optimization Methods참고 문헌 26인용 수 169

한 줄 요약

논문은 엔드-투-엔드 강화 학습 프레임워크를 제시하여 용량이 있는 VRP 인스턴스를 확률적 정책을 학습함으로써 해결하고, 각 인스턴스마다 재학습 없이 경쟁력 있는 해결책을 제시하며, 중형 규모 문제에서 고전 휴리스틱과 OR-Tools를 능가한다.

ABSTRACT

We present an end-to-end framework for solving the Vehicle Routing Problem (VRP) using reinforcement learning. In this approach, we train a single model that finds near-optimal solutions for problem instances sampled from a given distribution, only by observing the reward signals and following feasibility rules. Our model represents a parameterized stochastic policy, and by applying a policy gradient algorithm to optimize its parameters, the trained model produces the solution as a sequence of consecutive actions in real time, without the need to re-train for every new problem instance. On capacitated VRP, our approach outperforms classical heuristics and Google's OR-Tools on medium-sized instances in solution quality with comparable computation time (after training). We demonstrate how our approach can handle problems with split delivery and explore the effect of such deliveries on the solution quality. Our proposed framework can be applied to other variants of the VRP such as the stochastic VRP, and has the potential to be applied more generally to combinatorial optimization problems.

연구 동기 및 목표

• VRP를 인스턴스별 재학습 없이 해결하기 위한 RL 기반 프레임워크를 개발한다.
• VRP를 MDP로 표현하고 실행 가능한 경로를 출력하는 정책을 학습한다.
• 중형 규모의 VRP 인스턴스에서 고전 휴리스틱 및 OR-Tools를 능가하는 거의 최적에 가까운 해를 달성한다.
• 분할 납품(split deliveries) 및 동적 변형을 다룰 수 있는 프레임워크의 능력을 입증한다.
• 다른 조합 최적화 문제에 적용 가능한 확장 가능한 프레임워크를 제안한다.]
• method:
• method
• {
• 요청에 맞춰 입력된 메타데이터 형식의 필드를 그대로 유지합니다.
• 성격을 확인할 수 있는 비고를 추가하지마세요.
• }

제안 방법

• 주목(attention) 기반 디코더를 통해 해를 생성하는 매개변수화된 확률 정책을 모델링한다.
• 세트형 VRP 입력을 처리하기 위해 인코더 RNN 없이 입력 임베딩 집합과 순환 디코더를 사용한다.
• 다음 목적지에 대한 확률 분포를 생성하기 위해 컨텍스트 벡터가 있는 어텐션 메커니즘을 적용한다.
• 정책 그레이디언트 방법으로 정책을 학습한다(여기서 배우-비평가 프레임워크는 자세히 다루지 않음).
• VRP 실현 가능성을 보장하기 위해 실행 불가능한 행동에 마스크를 적용하고, 완화된 마스킹을 통해 분할 납품을 선택적으로 허용한다.
• 추가 계산으로도 솔루션 품질을 개선하기 위해 빔 탐색을 시연한다.

실험 결과

연구 질문

• RQ1 엔드-투-엔드 RL 프레임워크가 인스턴스별 재학습 없이 거의 최적에 가까운 VRP 해를 생성할 수 있는가?
• RQ2 RL 접근법이 해 품질 및 런타임 면에서 다양한 VRP 크기에 대해 고전 VRP 휴리스틱 및 OR-Tools와 어떻게 비교되는가?
• RQ3 모델은 분할 납품과 동적(확률적) VRP 변형을 지원하는가?
• RQ4 세트형 VRP 입력에 대해 인코더 없이 간단한 어텐션 기반 아키텍처로 충분한가?
• RQ5 탐욕적(greedy) 디코더와 빔 검색 디코더의 해 품질에 미치는 영향은 무엇인가?

주요 결과

• RL 프레임워크는 Clarke– Wright 및 Sweep 휴리스틱을 능가하고 중형 규모의 VRP에서 OR-Tools와 경쟁한다.
• 빔 검색은 탐욕적 디코딩보다 해의 품질을 높이며 RL-BS가 대부분의 VRP50 인스턴스에서 RL-greedy를 능가한다(예: 85.8%).
• VRP10 및 VRP20의 경우 빔 너비 10에서 대부분의 경우 최적성 격차가 약 5–13% 수준이다.
• VRP50 및 VRP100에서 RL 방법은 기초 방법에 비해 약 61%의 인스턴스에서 더 짧은 경로를 제공한다.
• 완화된 마스킹 하에서 명시적 핸드 엔지니어링 없이도 다발 납품(split deliveries)가 자연스럽게 가능해진다.
• 방법은 문제 크기에 따라 잘 확장되며 일부 고전적 방법과 달리 명시적 거리 행렬이 필요하지 않다.