[논문 리뷰] Learning Generalizable Models for Vehicle Routing Problems via Knowledge Distillation

Jieyi Bi, Yining Ma외 5명|arXiv (Cornell University)|2022. 10. 14.

Vehicle License Plate Recognition인용 수 25

한 줄 요약

이 논문은 Adaptive Multi-Distribution Knowledge Distillation (AMDKD)를 제안하여, 다수의 distribution-specific 교사들로부터 지식을 증류해 다중 VRP 분포에 걸쳐 일반화되는 경량 학생 모델을 학습한다.

ABSTRACT

Recent neural methods for vehicle routing problems always train and test the deep models on the same instance distribution (i.e., uniform). To tackle the consequent cross-distribution generalization concerns, we bring the knowledge distillation to this field and propose an Adaptive Multi-Distribution Knowledge Distillation (AMDKD) scheme for learning more generalizable deep models. Particularly, our AMDKD leverages various knowledge from multiple teachers trained on exemplar distributions to yield a light-weight yet generalist student model. Meanwhile, we equip AMDKD with an adaptive strategy that allows the student to concentrate on difficult distributions, so as to absorb hard-to-master knowledge more effectively. Extensive experimental results show that, compared with the baseline neural methods, our AMDKD is able to achieve competitive results on both unseen in-distribution and out-of-distribution instances, which are either randomly synthesized or adopted from benchmark datasets (i.e., TSPLIB and CVRPLIB). Notably, our AMDKD is generic, and consumes less computational resources for inference.

연구 동기 및 목표

• 신경망 VRP 해결책에서 교차 분포 일반화 문제를 다룬다. 이는 일반적으로 같은 분포(종종 Uniform)에서 학습하고 테스트한다.
• 여러 대표 분포로부터 다양한 정책을 단일 일반적 학생 모델로 전달하는 일반적인 학습 프레임워크를 제안한다.
• AMDKD가 계산 효율성을 유지하면서 보지 못한 in-distribution 및 out-of-distribution 인스턴스에서도 경쟁력 있는 성능을 발휘하면서 계산 효율적임을 보여준다.
• 대표적 구성 모델(AM 및 POMO)에의 적용 가능성과 Efficient Active Search (EAS)와 결합 시의 잠재적 향상을 보여준다.
• 제안된 증류 체계의 효과성과 일반화를 검증하는 분석을 제공한다.

제안 방법

• Adaptive Multi-Distribution Knowledge Distillation (AMDKD)를 제안하여, 다수의 distribution-specific 교사로부터 증류하여 경량 학생을 훈련시킨다.
• 대표 분포(Uniform, Cluster, Mixed)를 사용하여 교사를 훈련하고, 에폭마다 단일 선택 교사로부터 학생이 순차적으로 노드 선택을 학습하는 on-policy distillation을 수행한다.
• 학생의 검증 성능에 따라 분포 선택의 확률을 업데이트하는 적응형 분포 선택 전략을 도입하고, 더 어려운 분포에 초점을 맞춘다.
• 일반화와 추론 속도의 균형을 맞추기 위해 학생 모델 크기를 축소(예: 노드 임베딩 차원을 128에서 64로)하되, 필요할 때는 더 큰 학생 모델을 허용한다.
• 두 가지 백본 모델(AM 및 POMO)에 AMDKD를 적용하여 AMDKD-AM 및 AMDKD-POMO 변형을 얻고 경쟁력 있는 일반화 성능을 보고한다.
• 추가적으로 추론 시 AMDKD 학생을 Efficient Active Search (EAS)와 결합하여 최첨단 결과를 달성한다.

실험 결과

연구 질문

• RQ1 여러 distribution-specific 교사로부터 학습하여 단일 학생 모델이 VRP 분포 전반에 걸쳐 일반화할 수 있는가?
• RQ2 더 어려운 분포를 우선시하는 적응형 증류 전략이 교차 분포 일반화를 향상시키는가?
• RQ3 미지의 분포와 벤치마크 데이터 셋에서 AMDKD가 기초 신경 VRP 모델 및 다른 일반화 기법과 비교하여 어떤 성능을 보이는가?
• RQ4 AM 및 POMO와 같은 서로 다른 백본 아키텍처 및 문제 변형(TSP 및 CVRP)에 적용될 때 AMDKD 접근 방식이 강건한가?

주요 결과

• AMDKD는 TSP와 CVRP 모두에서 unseen 분포에 대해 교사 모델보다 우수한 성능을 보이는 경량 학생을 만들어낸다.
• 학생 모델 크기는 크게 축소할 수 있다(예: AM은 0.68M에서 0.26M으로; POMO는 1.20M에서 0.49M으로) 일반화는 유지되거나 향상된다.
• AMDKD는 HAC, LCP, DACT, DROP, GANCO, PSRO/LIH와 같은 baseline과 비교하여 unseen in-distribution 및 out-of-distribution 인스턴스에서 경쟁력 있는 일반화를 달성한다.
• AMDKD 변형들(AMDKD-AM 및 AMDKD-POMO)은 크기에 따라 자주 각 백본보다 성능이 우수하고, 더 빠른 추론을 유지한다.
• Efficient Active Search (EAS)와 AMDKD를 결합하면 평가 벤치마크에서 새로운 최첨단 결과를 얻는다.