[논문 리뷰] Multi-Vehicle Routing Problems with Soft Time Windows: A Multi-Agent Reinforcement Learning Approach

Ke Zhang, Meng Li외 3명|arXiv (Cornell University)|2020. 02. 13.

Vehicle Routing Optimization Methods참고 문헌 28인용 수 17

한 줄 요약

이 논문은 소프트 타임윈도우를 가진 다중 차량 경로 문제(MVRPSTW)를 해결하기 위해 다중 에이전트 강화학습 접근법인 다중 에이전트 어텐션 모델(MAAM)을 제안한다. 인코더-디코더 아키텍처와 어텐션 메커니즘을 사용하여 경로 설정을 반복적인 투어 생성 과정으로 모델링하고, 비지도 보조 네트워크를 활용한 다중 에이전트 강화학습으로 훈련함으로써, 오프라인 훈련 후 거의 즉각적인 추론을 통해 높은 해법 품질을 달성한다. 이는 계산 시간이 매우 짧은 반면 Google OR-Tools와 전통적 휠러스티크 방법보다도 우수한 성능을 보였다. 시뮬레이션 기반 벤치마크에서 검증되었다.

ABSTRACT

Multi-vehicle routing problem with soft time windows (MVRPSTW) is an indispensable constituent in urban logistics distribution systems. Over the past decade, numerous methods for MVRPSTW have been proposed, but most are based on heuristic rules that require a large amount of computation time. With the current rapid increase of logistics demands, traditional methods incur the dilemma between computational efficiency and solution quality. To efficiently solve the problem, we propose a novel reinforcement learning algorithm called the Multi-Agent Attention Model that can solve routing problem instantly benefit from lengthy offline training. Specifically, the vehicle routing problem is regarded as a vehicle tour generation process, and an encoder-decoder framework with attention layers is proposed to generate tours of multiple vehicles iteratively. Furthermore, a multi-agent reinforcement learning method with an unsupervised auxiliary network is developed for the model training. By evaluated on four synthetic networks with different scales, the results demonstrate that the proposed method consistently outperforms Google OR-Tools and traditional methods with little computation time. In addition, we validate the robustness of the well-trained model by varying the number of customers and the capacities of vehicles.

연구 동기 및 목표

• 증가하는 물류 수요에 따라 기존 휠러스틱 방법이 너무 느려지는 도시 물류 분배 시스템에서 발생하는 증가하는 계산적 과제를 해결하기 위해.
• 해결 품질을 유지하면서도 계산 시간을 극적으로 단축시키는 확장 가능하고 효율적인 경로 설정 솔루션을 개발하기 위해.
• 복잡한 다중 에이전트 경로 문제에 소프트 타임윈도우가 존재할 때 어텐션 메커니즘을 활용한 딥 강화학습의 가능성을 탐색하기 위해.
• 고객 수와 차량 용량의 변화에 대해 훈련된 모델의 강건성을 검증하기 위해.

제안 방법

• 차량 경로 문제를 다중 헤드 어텐션 레이어를 사용하여 장거리 의존성을 포착하는 인코더-디코더 프레임워크를 활용한 반복적 투어 생성 과정으로 모델링한다.
• 각 차량가 개별 에이전트로 작동하는 다중 에이전트 강화학습 프레임워크를 사용하여 탈중앙화된 의사결정 및 확장 가능한 훈련을 가능하게 한다.
• 추가적인 훈련 신호를 제공하기 위해 비지도 보조 네트워크를 도입하여 정책 학습의 안정성과 수렴성을 향상시킨다.
• 모델은 다양한 규모의 시뮬레이션 네트워크에서 오프라인으로 훈련되어 실시간 추론이 배포 시 가능하도록 한다.
• 어텐션 메커니즘이 경로 구축 중 관련 고객과 타임윈도우 제약 조건을 동적으로 주시할 수 있도록 한다.
• 인코더는 문제의 전체 상태를 처리하고, 디코더는 방문하지 않은 고객을 중심으로 어텐션을 사용하여 단계별로 경로를 생성한다.

실험 결과

연구 질문

• RQ1 어떤 어텐션 메커니즘을 갖춘 다중 에이전트 강화학습 접근법이 소프트 타임윈도우가 있는 MVRPSTW를 효과적으로 해결하면서도 높은 해법 품질을 유지할 수 있는가?
• RQ2 기존의 휠러스틱 솔버인 Google OR-Tools와 비교해 성능과 추론 속도에서 어떻게 다른가?
• RQ3 고객 수와 차량 용량의 변화에 대해 훈련된 모델이 얼마나 강건한가?
• RQ4 비지도 보조 네트워크가 다중 에이전트 경로 문제에서 훈련 효율성과 정책 성능을 크게 향상시킬 수 있는가?

주요 결과

• 제안된 MAAM 방법은 솔루션 품질 측면에서 모든 네 가지 시뮬레이션 네트워크 벤치마크에서 Google OR-Tools와 전통적 휠러스틱 방법을 일관되게 뛰어넘었다.
• 광범위한 오프라인 훈련 후 거의 즉각적인 추론을 통해 매우 짧은 계산 시간으로 높은 확장성과 효율성을 입증했다.
• 고객 수의 변화와 다양한 차량 용량에서 테스트한 결과 높은 성능과 강건성을 유지하여 강력한 일반화 능력을 보였다.
• 비지도 보조 네트워크의 통합으로 훈련 중 수렴 속도가 빨라지고 정책 안정성이 향상되었다.
• 어텐션 메커니즘이 효과적인 장거리 의존성 모델링을 가능하게 하여 더 일관되고 효율적인 경로 생성을 이끌었다.