[논문 리뷰] A Deep Reinforcement Learning Approach for Solving the Traveling Salesman Problem with Drone

Aigerim Bogyrbayeva, Taehyun Yoon외 4명|arXiv (Cornell University)|2021. 12. 22.

Vehicle Routing Optimization Methods인용 수 7

한 줄 요약

이 논문은 주로 드론과 트럭 간의 협동 경로 계획을 해결하기 위해 어텐션 기반 인코더와 LSTM 디코더를 조합한 하이브리드 딥 강화학습 모델을 제안한다. LSTM 디코더는 은닉 상태 메모리를 통해 차량 간의 상호의존성을 모델링하여, 상태 무시형 어텐션 모델 대비 해법 품질과 계산 효율성이 크게 향상되었으며, 운영 연구 기반 기준 성능과 유사한 성능을 달성하였다.

ABSTRACT

Reinforcement learning has recently shown promise in learning quality solutions in many combinatorial optimization problems. In particular, the attention-based encoder-decoder models show high effectiveness on various routing problems, including the Traveling Salesman Problem (TSP). Unfortunately, they perform poorly for the TSP with Drone (TSP-D), requiring routing a heterogeneous fleet of vehicles in coordination -- a truck and a drone. In TSP-D, the two vehicles are moving in tandem and may need to wait at a node for the other vehicle to join. State-less attention-based decoder fails to make such coordination between vehicles. We propose a hybrid model that uses an attention encoder and a Long Short-Term Memory (LSTM) network decoder, in which the decoder's hidden state can represent the sequence of actions made. We empirically demonstrate that such a hybrid model improves upon a purely attention-based model for both solution quality and computational efficiency. Our experiments on the min-max Capacitated Vehicle Routing Problem (mmCVRP) also confirm that the hybrid model is more suitable for the coordinated routing of multiple vehicles than the attention-based model. The proposed model demonstrates comparable results as the operations research baseline methods.

연구 동기 및 목표

• 최후마일 배송에서 이질적인 차량(트럭 및 드론) 간의 협동 경로 계획 문제를 해결하기 위해.
• TSP-D에서 차량 간 상호의존성과 대기 제약 조건을 다루는 데에 한계가 있는 상태 무시형 어텐션 기반 모델의 문제점을 해결하기 위해.
• 외부 알고리즘 컴포넌트 없이 고품질 해법을 학습할 수 있는 엔드 투 엔드 딥 강화학습 모델을 개발하기 위해.
• 모델이 다른 협동 경로 계획 문제, 예를 들어 최소-최대 용량 제약이 있는 차량 경로 문제(mmCVRP)로의 일반화 능력을 평가하기 위해.

제안 방법

• 모델은 고객 위치와 차량 상태를 맥락적 표현으로 매핑하기 위해 어텐션 기반 인코더를 사용한다.
• LSTM 기반 디코더는 각 차량이 취한 행동의 시퀀스를 기억하는 은닉 상태를 유지하여 과거 결정보다 협동을 가능하게 한다.
• 디코더는 현재 차량 상태, 이전 노드의 임bedding, 그리고 결정 중인 차량의 잔여 용량을 포함한 컨텍스트 벡터를 기반으로 방문하지 않은 노드에 대해 어텐션을 계산한다.
• 모델는 제작된 수상 시간(모든 고객을 서비스하는 데 소요되는 시간)을 최소화하도록 보상 함수를 설계하여 강화학습으로 훈련된다.
• 다중 차량과 용량 제약 조건을 처리하기 위해 입력 표현과 보상 함수를 조정하여 모델을 mmCVRP에 확장한다.
• 표준 벤치마크를 사용하여 TSP-D 및 mmCVRP에서 모델을 평가하며, 어텐션 중심 모델 및 OR-Tools 기준 성능과 비교한다.

실험 결과

연구 질문

• RQ1 딥 강화학습 모델은 드론과 트럭으로 구성된 이질적 차량 풍경에서, 서로를 기다릴 수 있는 상황에서도 TSP-D에서 효과적으로 협동 경로 계획을 수행할 수 있는가?
• RQ2 LSTM 기반 디코더는 상태 무시형 어텐션 디코더 대비 TSP-D에서 차량 간 상호의존성을 더 잘 모델링하고 해법 품질을 향상시킬 수 있는가?
• RQ3 제안된 하이브리드 모델은 다수의 차량과 용량 제약 조건이 있는 mmCVRP와 같은 다른 협동 경로 계획 문제로 일반화될 수 있는가?
• RQ4 해법 품질과 계산 효율성 측면에서 기존의 운영 연구 방법(예: OR-Tools)과 비교해 모델 성능는 어떠한가?
• RQ5 모델은 다양한 문제 크기와 고객 위치 분포에 대해 안정적인 성능을 보이는가?

주요 결과

• 제안된 하이브리드 모델(HM)은 TSP-D에서 순수 어텐션 모델(AM)을 크게 능가하여 낮은 해법 비용과 더 빠른 추론 시간을 달성하였다.
• 20, 50, 100명의 고객이 있는 TSP-D 인스턴스에서, HM은 Concorde 기준 평균 비용 격리율 각각 1.38%, 5.39%, 9.93%를 기록하였으며, 정확한 방법보다 훨씬 빠르게 작동하였다.
• 3대의 차량이 있는 mmCVRP에서, N=20에서는 1.04%의 격리율, N=30에서는 0.00%의 격리율을 기록하여 OR-Tools 성능을 재현하면서도 더 낮은 계산 시간을 기록하였다.
• LSTM 디코더의 은닉 상태 유지 능력은 결정 이력 추적을 통해 트럭과 드론 간의 더 나은 협동을 가능하게 하였으며, 특히 대기 제약 조건 처리에 유리하였다.
• 모델는 mmCVRP로의 일반화 능력이 뛰어나, 동일한 아키텍처와 초모수를 다양한 협동 경로 계획 문제에 적용할 수 있음을 보여주었다.
• HM은 TSP-D 및 mmCVRP에서 경쟁적인 성능를 보였지만, 고전적 TSP에서는 AM에 비해 성능가 낮아, 다양한 경로 문제에 적용 가능한 유니버설 아키텍처 개발이 향후 연구 과제로 남아 있음을 시사한다.