[논문 리뷰] Learning to Iteratively Solve Routing Problems with Dual-Aspect Collaborative Transformer

Yining Ma, Jingwen Li외 5명|arXiv (Cornell University)|2021. 10. 06.

Vehicle Routing Optimization Methods인용 수 49

한 줄 요약

두 가지 측면 협업 트랜스포머(DACT)를 도입하여 노드와 위치 임베딩을 각각 학습하고, 순환 위치 인코딩(CPE)을 활용하며, PPO와 커리큘럼 학습으로 학습시키는 방식으로 TSP와 CVRP에서 기존 Transformer 기반 방법보다 일반화 및 성능이 개선되었다.

ABSTRACT

Recently, Transformer has become a prevailing deep architecture for solving vehicle routing problems (VRPs). However, it is less effective in learning improvement models for VRP because its positional encoding (PE) method is not suitable in representing VRP solutions. This paper presents a novel Dual-Aspect Collaborative Transformer (DACT) to learn embeddings for the node and positional features separately, instead of fusing them together as done in existing ones, so as to avoid potential noises and incompatible correlations. Moreover, the positional features are embedded through a novel cyclic positional encoding (CPE) method to allow Transformer to effectively capture the circularity and symmetry of VRP solutions (i.e., cyclic sequences). We train DACT using Proximal Policy Optimization and design a curriculum learning strategy for better sample efficiency. We apply DACT to solve the traveling salesman problem (TSP) and capacitated vehicle routing problem (CVRP). Results show that our DACT outperforms existing Transformer based improvement models, and exhibits much better generalization performance across different problem sizes on synthetic and benchmark instances, respectively.

연구 동기 및 목표

• 기존 Transformer 인코더와 위치 인코딩의 한계를 해결하여 VRP용 향상된 신경망 해결사를 제시한다.
• 잡음 감소 및 학습 개선을 위해 노드 정보와 위치 정보를 분리해 인코딩하는 이중 측면 표현을 제안한다.
• VRP 해법의 순환성 및 대칭성을 포착하기 위해 Cyclic Positional Encoding(CPE)을 개발한다.
• 샘플 효율성과 수렴성을 높이기 위해 Proximal Policy Optimization과 커리큘럼 학습으로 모델을 훈련한다.
• 다양한 크기에 걸친 TSP 및 CVRP에서 제안된 방법의 일반화 및 성능 향상을 입증한다.

제안 방법

• 노드 특징 임베딩(NFEs)과 위치 특징 임베딩(PFEs)을 갖춘 Dual-Aspect Collaborative Transformer (DACT)를 도입한다.
• NFEs와 PFEs 간의 교차 활용을 가능하게 하는 DAC 인코더를 사용하고, 각 측면별 자체-주의(self-attention)와 교차-측면 참조 주의(cross-aspect referential attention)을 포함한다.
• PFEs를 Cyclic Positional Encoding (CPE)로 임베딩하는데, 이는 VRP 해법의 순환성 및 인접성을 반영하기 위해 순환 그레이 코드에 기초한다.
• 디코더에서 두 측면의 제안을 Max-pooling과 다중-헤드 호환성(MHC) 계층으로 집계하고, 이어서 Feed-Forward Aggregation(FFA)을 통해 행동 가능도(output action likelihoods)을 산출한다.
• Proximal Policy Optimization(PPO)으로 학습하고, 낮은 품질의 솔루션에서 시작해 초기 솔루션 품질을 점진적으로 높여 샘플 효율성을 개선하는 커리큘럼 학습 전략을 채택한다.

실험 결과

연구 질문

• RQ1 표준 Transformer의 통합 임베딩보다 이중 측면 임베딩 전략이 VRP 해법의 표현을 개선할 수 있는가?
• RQ2 순환 위치 인코딩이 VRP 해법의 순환성을 더 잘 포착하고 문제 크기에 따른 일반화를 개선하는가?
• RQ3 신경 VRP 해법의 PPO 기반 학습에서 커리큘럼 학습이 샘플 효율성과 수렴에 어떤 영향을 미치는가?
• RQ4 다양한 인스턴스 크기와 벤치마크 데이터셋에 대한 DACT의 일반화 능력은 어떤가?
• RQ5 해결 품질과 추론 시간 측면에서 DACT가 최첨단 신경 솔버 및 전통적 솔버와 어떻게 비교되는가?

주요 결과

• DACT는 매개변수 수가 적은 기존 Transformer 기반 개선 모델보다 우수하게 작동한다.
• CPE는 순환 구조와 인접성의 더 나은 인코딩을 가능하게 하여 문제 크기에 따른 일반화를 향상시킨다.
• Dual-aspect 표현은 TSP50/100에서 단일 측면 기반 비교대비 대비 성능을 지속적으로 향상시킨다.
• 커리큘럼 학습은 PPO 학습의 샘플 효율성과 안정성을 향상시켜 더 빠른 수렴으로 이어진다.
• DACT는 TSP 및 CVRP 벤치마크에서 경쟁력 있거나 우수한 격차를 달성하고, TSPLIB 및 CVRPLIB 데이터셋에서 강한 일반화를 보인다.