[논문 리뷰] Towards Omni-generalizable Neural Methods for Vehicle Routing Problems

Jianan Zhou, Yaoxin Wu외 3명|arXiv (Cornell University)|2023. 05. 31.

Vehicle Routing Optimization Methods인용 수 11

한 줄 요약

이 논문은 작업 크기와 분포 전반에 걸친 omni-generalization을 갖춘 모델-무관 메타러닝 프레임워크를 통해 신경 VRP 해법기를 학습하고, 효율적인 일차/절단된 이차 학습 근사로 TSP와 CVRP에서 시연한다.

ABSTRACT

Learning heuristics for vehicle routing problems (VRPs) has gained much attention due to the less reliance on hand-crafted rules. However, existing methods are typically trained and tested on the same task with a fixed size and distribution (of nodes), and hence suffer from limited generalization performance. This paper studies a challenging yet realistic setting, which considers generalization across both size and distribution in VRPs. We propose a generic meta-learning framework, which enables effective training of an initialized model with the capability of fast adaptation to new tasks during inference. We further develop a simple yet efficient approximation method to reduce the training overhead. Extensive experiments on both synthetic and benchmark instances of the traveling salesman problem (TSP) and capacitated vehicle routing problem (CVRP) demonstrate the effectiveness of our method. The code is available at: https://github.com/RoyalSkye/Omni-VRP.

연구 동기 및 목표

• 신경 VRP 방법의 일반화가 문제 크기와 데이터 분포 모두에서 필요하다는 점에 대한 동기를 제시한다.
• 빠른 작업 적응을 위해 모델을 초기화하기 위한 모델-무관 메타러닝 프레임워크를 제안한다.
• 메타 학습 오버헤드를 줄이기 위한 효율적인 학습 근사를 개발한다.
• 합성 및 벤치마크 인스턴스에서 TSP 및 CVRP에 대한 전영역 일반화를 시연한다.

제안 방법

• VRP 작업을 크기 n과 분포 d로 정의하여 작업 분포 p(T)를 형성한다.
• K-gradient step으로 새로운 작업에 빠르게 적응할 수 있는 메타모델 θ0*를 학습하기 위해 내부-외부 루프를 사용하는 MAML 유사 구조를 사용한다.
• 작업 난이도와 크기 진행 상황에 따라 작업 샘플링을 조정하는 계층적 작업 스케줄러를 적용한다.
• 메타 그래디언트의 회귀에서 초기에는 안정성을 위해 2차 업데이트를 사용하고 비용을 줄이기 위해 1차 근사로 전환한다(일찍 중단).
• 메타 학습에서 POMO를 TSP에 대해 메타 학습하고 크기/분포 간 작업에 대한 제로샷 및 소수샷 적응을 평가한다.

실험 결과

연구 질문

• RQ1 메타러닝 프레임워크가 보지 못한 크기와 분포의 VRP 작업에 빠르게 적응할 수 있는 초기화를 생성할 수 있는가?
• RQ2 ,

주요 결과

• 제안된 전영역 일반화 프레임워크가 다양한 크기와 분포에 걸친 TSP 및 CVRP에서 제로샷 및 소수샷 성능을 향상시킨다.
• 계층적 작업 스케줄러는 메타 학습 중 더 어려운 작업과 더 큰 크기를 우선하도록 도와 일반화를 개선한다.
• 초기에는 2차 도함수를 사용하고 조기 종료를 통해 1차 업데이트로 전환하는 방식이 안정성과 학습 효율의 균형을 이룬다.
• 1차만으로의 메타 학습은 초기에는 더 불안정할 수 있지만, 적절한 스케줄링과 부분 2차 업데이트로의 예열로 효과적이 된다.
• 합성 데이터와 벤치마크 데이터셋(TSPLIB 및 CVRPLIB)에서의 실험은 베이스라인 및 기존 메타러닝 접근법에 비해 일관된 성능 향상을 보여준다.