[논문 리뷰] Learning the Multiple Traveling Salesmen Problem with Permutation Invariant Pooling Networks

Yoav Kaempfer, Lior Wolf|arXiv (Cornell University)|2018. 03. 26.

Vehicle Routing Optimization Methods참고 문헌 27인용 수 61

한 줄 요약

이 논문은 판매원, 도시, 그리고 창고를 세 세트로 다루고 Leave-One-Out 풀링을 가진 permutation-invariant 풀링, differentiable soft assignment 계층, 그리고 빔 서치를 사용하여 다중 여행자 문제(mTSP) 솔버를 능가하는 뉴럴 네트워크를 제시한다.

ABSTRACT

While there are optimal TSP solvers, as well as recent learning-based approaches, the generalization of the TSP to the Multiple Traveling Salesmen Problem is much less studied. Here, we design a neural network solution that treats the salesmen, cities and depot as three different sets of varying cardinalities. We apply a novel technique that combines elements from recent architectures that were developed for sets, as well as elements from graph networks. Coupled with new constraint enforcing output layers, a dedicated loss, and a search method, our solution is shown to outperform all the meta-heuristics of the leading solver in the field.

연구 동기 및 목표

• 전통적인 TSP 솔버를 넘어서 어려운 mTSP에 대해 학습 기반 근사치를 모티브로 제시한다.
• 가변 그룹 크기(판매원, 창고, 도시)를 처리하는 permutation-invariant 다집합 네트워크 아키텍처를 개발한다.
• differentiable soft-assignment 계층과 전용 손실을 통해 mTSP 제약을 강제하고 ILP 최적화 라벨과 함께 엔드-투-엔드 학습을 가능하게 한다.
• 공간 가중치 메커니즘과 빔 서치를 통합하여 고품질의 mTSP 해를 생성한다.
• 표준 mTSP 벤치마크에서 선도 메타휴리스틱보다 우수한 성능을 경험적으로 입증한다.

제안 방법

• Permutation-invariant 풀링을 갖춘 PointNet 스타일의 세 그룹(판매원, 창고, 도시)을 처리하도록 일반화한다.
• 각 요소에 대해 자기-맥락 누출(self-context leakage)을 피하기 위해 Leave-One-Out 풀링을 도입한다.
• 거리 간 학습 가능한 공간 가중치를 도입하여 가중 풀링 메커니즘을 생성한다.
• 각 판매원에 대해 m×n×n 실수 값의 출력 텐서를 생성한 뒤, differentiable softmax 유사 정규화(softassign)를 적용하여 mTSP 제약을 만족하는 반 다중 확률 텐서를 얻는다.
• 소프트 출력에서 로그 확률의 최대화를 통해 빔 서치를 적용하여 가능한 경로 중 최적의 것을 추출한다.
• 대상(판매원 순열 및 경로 방향)의 모든 동등 표현을 고려하는 표현 불변 손실로 엔드-투-엔드 학습을 수행한다.

실험 결과

연구 질문

• RQ1 다양한 그룹(판매원, 창고, 도시)의 순서에 불변하고 가변 그룹 크기에 확장 가능한 신경망을 어떻게 설계할 수 있을까? mTSP에서의 문제.
• RQ2 제약을 강제하는 differentiable 계층과 맞춤형 손실이 기존 메타휴리스틱을 능가하는 mTSP 해를 생성할 수 있을까?
• RQ3 도시 간 거리의 학습 가능한 공간 가중치가 mTSP의 경로 품질을 향상시킬까?
• RQ4 Leave-One-Out 풀링이 자기 참조 없이 그룹별 정보를 보존하는 데 어떤 영향을 미칠까?
• RQ5 제안된 방법이 표준 TSP 벤치마크 및 더 큰 mTSP 인스턴스에 얼마나 일반화되는가?

주요 결과

• 제안된 방법은 tested 벤치마크에서 모든 선도 mTSP 솔버의 메타휴리스틱보다 더 나은 결과를 얻는다.
• 표현 불변성 손실과 Leave-One-Out 풀링이 절멸(ablations) 대비 성능을 크게 향상시킨다.
• 가중된 공간 풀링 및 Leave-One-Out 전략이 LOO가 아닌 변형에 비해 상당한 성능 향상을 가져온다.
• 로그 확률 최대화를 통한 빔 서치 추출은 빔 크기에 관계없이 높은 품질의 최종 해를 제공한다.
• mTSPLib 및 벤치마크 데이터에서 이 방법은 대부분의 설정에서 OR-Tools 구성 및 신경망 기반 기준선보다 우수하며, 더 큰 빔 크기에서 큰 이점을 보인다.