[논문 리뷰] Learn to Design the Heuristics for Vehicle Routing Problem

Lei Gao, Mingxiang Chen외 4명|arXiv (Cornell University)|2020. 02. 20.

Vehicle Routing Optimization Methods참고 문헌 20인용 수 41

한 줄 요약

이 논문은 VRP를 위한 대형 이웃 탐색 휴리스틱을 학습하는 신경망을 제시하며, 중형 규모 데이터에서 수작업 휴리스틱 및 신경망 기반 비교기준을 능가하고 400노드 VRP를 효과적으로 해결합니다.

ABSTRACT

This paper presents an approach to learn the local-search heuristics that iteratively improves the solution of Vehicle Routing Problem (VRP). A local-search heuristics is composed of a destroy operator that destructs a candidate solution, and a following repair operator that rebuilds the destructed one into a new one. The proposed neural network, as trained through actor-critic framework, consists of an encoder in form of a modified version of Graph Attention Network where node embeddings and edge embeddings are integrated, and a GRU-based decoder rendering a pair of destroy and repair operators. Experiment results show that it outperforms both the traditional heuristics algorithms and the existing neural combinatorial optimization for VRP on medium-scale data set, and is able to tackle the large-scale data set (e.g., over 400 nodes) which is a considerable challenge in this area. Moreover, the need for expertise and handcrafted heuristics design is eliminated due to the fact that the proposed network learns to design the heuristics with a better performance. Our implementation is available online.

연구 동기 및 목표

• VRP에 대한 감독된 전문가 데이터 없이 일반적인 파괴/수리 휴리스틱 설계 자동화.
• 그래프 기반 인코더에서 노드 및 간선 정보를 통합하여 비유클리드 VRP 인스턴스를 처리.
• 경쟁력 있는 성능으로 중/대규모 VRP(예: >400 노드)로의 확장성 시연.

제안 방법

• 노드 및 간선 정보를 결합하는 EGATE(Element-wise Graph Attention Network with Edge Embedding) 인코더로 인코더–디코더 아키텍처를 사용.
• 파괴/수리 휴리스틱을 확률적 순차 정책 π([η1,...,ηM])로 표현하고 PPO를 사용한 actor–critic 강화 학습으로 학습.
• GRU 기반 포인터 네트워크로 디코딩하여 제거 노드의 정렬된 목록을 출력하고 삽입 순서를 안내.
• 상태 가치를 추정하는 가치 네트워크를 활용하는 보상과 함께 반환이 VRP 비용(거리 및 차량 비용)의 감소와 동일한 actor–critic 설정으로 학습.
• 학습 중 SA-가이드 탐색을 가능하게 하는 해를 업데이트하기 위한 시뮬레이티드 어닐링 기반 수용 기준 적용.

실험 결과

연구 질문

• RQ1 신경망이 단일 수작업 휴리스틱이 아닌 일반적이고 높은 수준의 파괴/수리 휴리스틱을 학습할 수 있는가?
• RQ2 EGATE 인코더를 통해 노드 및 간선 정보를 통합하는 것이 표준 GAT 기반 인코더보다 VRP 성능을 개선하는가?
• RQ3 학습된 휴리스틱이 대형 VRP 인스턴스(예: 400노드)로 확장되어 기존 휴리스틱 및 다른 신경 방법을 능가할 수 있는가?
• RQ4 CVRP 및 CVRPTW 설정에서 학습된 접근법이 수작업 휴리스틱 및 기존 신경 방법과 비교하여 어떤 차이를 보이는가?

주요 결과

• 학습된 휴리스틱 접근법은 CVRP에서 1000 반복에 대해 벤치마크와 거의 비슷한 성능을 보이며 0.58% 차이를 달성한다.
• CVRPTW의 경우, 1000 반복에서도 테스트 솔버 중 최상의 결과를 내며, 100만 반복에서도 SISR 기반보다 우수한 성능을 보인다.
• 동일 반복 예산 내에서 중형 규모의 CVRP/CVRPTW에서 수작업 ALNS 및 SISR 기준선을 능가한다.
• 모델은 400노드 VRP에 도전할 수 있는 능력을 보여주며 그 규모에서 벤치마크 대비 4.4% 차이로 경쟁력 있는 결과를 달성한다.
• 인코더–디코더 설계(EGATE + GRU 기반 Pointer Network)는 일반적인 대형 이웃 탐색 휴리스틱 학습을 가능하게 하여 전문가가 설계한 휴리스틱에 대한 의존을 감소시킨다.