[논문 리뷰] Learning to Solve Vehicle Routing Problems with Time Windows through Joint Attention

Jonas K. Falkner, Lars Schmidt-Thieme|arXiv (Cornell University)|2020. 06. 16.

Vehicle Routing Optimization Methods참고 문헌 31인용 수 16

한 줄 요약

이 논문은 시간 창이 있는 차량 경로 문제(CVRP-TW)를 해결하기 위해 다중 차량 경로에 대한 동시 주의(multi-route joint attention)를 사용하는 새로운 강화학습 모델인 JAMPR를 제안한다. 이는 병렬 경로 구축과 더불어 복잡한 제약 조건 하에서 개선된 의사결정을 가능하게 한다. JAMPR는 세 가지 CVRP-TW 변형에서 최신 기계학습 및 메타휴리스틱 방법을 모두 능가하며, 빠른 추론 시간을 유지하면서도 유의미하게 향상된 해를 달성한다.

ABSTRACT

Many real-world vehicle routing problems involve rich sets of constraints with respect to the capacities of the vehicles, time windows for customers etc. While in recent years first machine learning models have been developed to solve basic vehicle routing problems faster than optimization heuristics, complex constraints rarely are taken into consideration. Due to their general procedure to construct solutions sequentially route by route, these methods generalize unfavorably to such problems. In this paper, we develop a policy model that is able to start and extend multiple routes concurrently by using attention on the joint action space of several tours. In that way the model is able to select routes and customers and thus learns to make difficult trade-offs between routes. In comprehensive experiments on three variants of the vehicle routing problem with time windows we show that our model called JAMPR works well for different problem sizes and outperforms the existing state-of-the-art constructive model. For two of the three variants it also creates significantly better solutions than a comparable meta-heuristic solver.

연구 동기 및 목표

• 기존의 CVRP-TW에 대한 딥러닝 모델에서의 순차적 경로 구축 방식이 복잡한 제약 조건을 다루는 데 어려움을 겪고 일반화 능력이 떨어지는 데 기인한 한계를 해결하기 위해.
• 고객을 할당할 경로와 그 경로를 동시에 결정할 수 있는 정책 모델을 개발하여, 서로 다른 경로 간의 상호 균형을 개선하기 위해.
• 모든 활성 경로, 차량, 시간 창 정보를 포함하는 종합적인 상태 및 행동 공간을 설계하기 위해.
• 경로의 경계 조건 강도가 다른 다양한 CVRP-TW 변형(엄격한, 부분 소프트, 소프트 시간 창 포함)에 대해 모델을 평가하기 위해.
• 다양한 경로에 대한 동시 주의가 순차적 모델 및 메타휴리스틱보다 뛰어난 솔루션 품질을 제공하는지 입증하기 위해.

제안 방법

• JAMPR는 병렬적으로 모든 경로에 동시에 주의를 기울일 수 있는 트랜스포머 기반 디코더를 사용하며, 행동 선택 시에 다수의 경로를 동시에 고려한다.
• 노드, 차량, 경로에 대해 향상된 특징 임bedding을 사용하여 시간 창, 용량 사용률, 경로 상태 정보를 인코딩한다.
• 통합 행동 공간을 통해 에이전트가 다음 고객과 타겟 경로를 동시에 선택할 수 있도록 하여 단일 경로 결정에 대한 순차적 의존성을 제거한다.
• 정책 네트워크는 통합 행동 공간에 대한 포인터-주목 기반 메커니즘을 사용하여 다음 행동을 예측하며, 경로 설정과 할당 결정을 통합한다.
• 초기 문제 인스턴스에서 시작하여 점진적으로 복잡도를 높이는 커리큘럼 학습을 통한 강화학습으로 모델을 훈련시킨다.
• 추론 시에는 그리디 디코딩 또는 빔 서치를 사용하며, 동시성 수준 $m_{con}$은 동시에 확장되는 경로 수를 제어한다.

실험 결과

연구 질문

• RQ1 다양한 제약 조건이 있는 CVRP-TW에서 병렬적으로 다수의 경로를 동시에 생성하는 딥 러닝 기반 강화학습 모델이 순차적 모델보다 성능이 뛰어나게 될 수 있는가?
• RQ2 여러 경로에 대한 동시 주의가 단일 경로 생성 방식보다 경로 균형, 시간 창 준수 가능성, 총 비용 간의 더 나은 트레이드오프를 가능하게 하는가?
• RQ3 다양한 CVRP-TW 변형에서 최신 기계학습 모델 및 기존의 메타휴리스틱 솔버인 GORT와의 성능 비교는 어떻게 되는가?
• RQ4 다양한 문제 크기와 제약 유형에서 동시성 수준($m_{con}$)이 솔루션 품질과 추론 속도에 미치는 영향은 어떠한가?
• RQ5 모델은 시간 창이 없는 표준 CVRP에 일반화될 수 있으며, 기존 최신 기술 모델과 비교해 어떤가?

주요 결과

• JAMPR는 세 가지 CVRP-TW 변형 전반에서 적응형 AM +TW 모델을 크게 능가하며, TW1(N=50)에서 평균 비용 1716.60을 기록했고, $t_{10240}$ 샘플링을 사용한 AM +TW의 6878.84보다 훨씬 낮다.
• TW1에서 JAMPR는 GORT - AU보다 26.5% 낮은 비용을 기록했고, GORT - GLS보다는 28.5% 낮은 비용을 기록했으며, 후자보다 8배 빠른 속도를 보였다.
• TW2에서는 GORT와 유사한 수준의 솔루션 품질을 제공했지만, 추론 속도는 훨씬 빠르게(0.25초 대비 8.09초) 기록했으며, 10,240개 샘플을 사용한 AM +TW보다도 뛰어난 성능을 보였다.
• TW3에서는 테스트된 모든 모델 중에서 가장 낮은 비용(50개 고객 기준 1947.65)을 기록했고, GORT - GLS(2753.66)와 AM +TW(4161.24)를 모두 뛰어넘었다.
• JAMPR는 시간 창이 없는 표준 CVRP에서도 강력한 성능을 유지했으며, N=50일 때 비용이 11.44로, AM(10.98)보다 略히 높지만 여전히 경쟁력 있는 성능을 보였다.
• 모델은 AM +TW와 GORT보다 더 적은 차량 수($k$)를 자연스럽게 사용함으로써, 특히 제약 조건이 엄격한 환경(예: TW1)에서 더 나은 경로 균형을 달성하고 있음을 시사한다.