[논문 리뷰] Generalize a Small Pre-trained Model to Arbitrarily Large TSP Instances

Zhang-Hua Fu, Kai-Bin Qiu외 1명|arXiv (Cornell University)|2020. 12. 19.

Metaheuristic Optimization Algorithms Research참고 문헌 35인용 수 22

한 줄 요약

이 논문은 그래프 샘플링, 그래프 변환, 열화상도 융합을 통해 소규모 지도 학습 모델을 임의의 크기의 TSP 인스턴스로 일반화하는 하이브리드 기계 학습 접근법을 제안한다. 사전 훈련된 주의 기반 그래프 컨볼루션 잔여망을 활용해 열화상도를 생성하고, 이를 몬테 카를로 트리 탐색(MCTS)과 융합함으로써 10,000개 도시 인스턴스에서 LKH3 최적해 대비 평균 오차가 단 4.39%에 불과한 near-optimal 해를 달성하며, 기존의 학습 기반 방법들보다 뚜렷이 뛰어난 성능을 보였다.

ABSTRACT

For the traveling salesman problem (TSP), the existing supervised learning based algorithms suffer seriously from the lack of generalization ability. To overcome this drawback, this paper tries to train (in supervised manner) a small-scale model, which could be repetitively used to build heat maps for TSP instances of arbitrarily large size, based on a series of techniques such as graph sampling, graph converting and heat maps merging. Furthermore, the heat maps are fed into a reinforcement learning approach (Monte Carlo tree search), to guide the search of high-quality solutions. Experimental results based on a large number of instances (with up to 10,000 vertices) show that, this new approach clearly outperforms the existing machine learning based TSP algorithms, and significantly improves the generalization ability of the trained model.

연구 동기 및 목표

• TSP에서 지도 학습 모델의 낮은 일반화 성능을 해결하기 위해, 일반적으로 분포 이탈로 인해 대규모 인스턴스에서 실패하는 문제를 해결한다.
• 재훈련 없이도 어떤 크기의 TSP 인스턴스에도 동일한 소규모 사전 훈련된 모델을 재사용할 수 있도록 한다.
• 지도 학습과 강화 학습을 융합한 확장 가능하고 일반화 가능한 프레임워크를 개발하여 조합 최적화 문제를 해결한다.
• 고도로 전문가가 설계한 휴리스틱에 크게 의존하지 않으면서도 대규모 인스턴스에서 높은 품질의 해를 유지할 수 있도록 한다.

제안 방법

• 사전에 계산된 최적 해를 사용하여 지도 학습 방식으로 소규모 TSP 인스턴스(예: 20~100개 도시)에서 소규모 주의 기반 그래프 컨볼루션 잔여망(Att-GCRN)을 훈련한다.
• 대규모 TSP 인스턴스의 경우, 사전 훈련된 모델의 입력 크기에 맞는 크기의 부분 그래프를 반복적으로 추출하기 위해 그래프 샘플링을 적용한다.
• 각 샘플된 부분 그래프를 표준 TSP 인스턴스로 변환하고, 사전 훈련된 Att-GCRN을 사용해 엣지 품질을 나타내는 부분 열화상도를 생성한다.
• 모든 부분 열화상도를 원본 대규모 그래프에 대해 완전한 열화상도로 융합하며, 공간적 및 구조적 관련성을 유지한다.
• 융합된 열화상도를 몬테 카를로 트리 탐색(MCTS) 알고리즘의 정책 사전 정보로 사용하여 고품질의 TSP 순환 경로 탐색을 유도한다.
• 전환 기반 MCTS를 구현하며, 각 상태는 완전한 순환 경로이고, 행동은 엣지 교환을 포함한다. 이는 기존의 구성 기반 MCTS와 다릅니다.

실험 결과

연구 질문

• RQ1 소규모 TSP 인스턴스에서 훈련된 소규모 지도 학습 모델이 임의의 크기의 TSP 인스턴스로 일반화될 수 있는가?
• RQ2 그래프 샘플링과 열화상도 융합이 다양한 인스턴스 크기 간의 모델 일반화를 얼마나 효과적으로 유지하는가?
• RQ3 사전 훈련된 지도 학습 모델과 MCTS를 융합했을 때 순수 강화 학습 또는 지도 학습 기반 기준선보다 성능이 뛰어나게 되는가?
• RQ4 이 방법은 재훈련 없이도 대규모 TSP 인스턴스(예: 10,000개 도시)에서 near-optimal 해를 달성할 수 있는가?

주요 결과

• 제안된 Att-GCRN+MCTS 방법은 10,000개 도시를 가진 16개 TSP 인스턴스에서 LKH3 최적해 대비 평균 오차가 단 4.3902%에 불과했다.
• 열화상도 없이 MCTS만을 사용한 경우, 10,000개 도시 인스턴스에서 평균 오차가 1,293.22%에 달했으며, 이는 열화상도의 핵심적 역할을 입증한다.
• 이 방법은 기존의 세 가지 학습 기반 기준선을 모두 초월했으며, 동일한 10,000개 도시 인스턴스에서 평균 오차가 각각 501.27%, 97.39%, 80.28%였다.
• 제안된 방법의 평균 실행 시간은 10,000개 도시 인스턴스에서 4.16분으로, 최고의 기준선 대비 1.69시간보다 훨씬 빠르게 작동했다.
• 작은 인스턴스(예: 20~1,000개 도시)에서도 이 방법은 항상 최적해에 가까운 해를 생성했으며, 오차가 5% 이하로 유지되었다.
• 제거 실험을 통해 열화상도가 필수적임을 확인했으며, 이를 비활성화하면 모든 인스턴스 크기에서 성능이 급격히 떨어졌다.