[논문 리뷰] On Learning Paradigms for the Travelling Salesman Problem

Chaitanya K. Joshi, Thomas Laurent외 1명|arXiv (Cornell University)|2019. 10. 16.

Reinforcement Learning in Robotics참고 문헌 20인용 수 21

한 줄 요약

이 논문은 깊이 있는 신경망을 사용하여 여행하는 판매원 문제(TSP)를 해결하기 위해 지도학습(SL)과 강화학습(RL) 파라다임을 비교한다. 고정된 크기의 TSP 인스턴스(20~100개 노드)에서 훈련된 순차적 그래프 어텐션 모델을 사용하여, 훈련 크기에서 두 방법 모두 거의 최적의 성능를 달성하는 것으로 나타났지만, RL은 더 큰, 볼 수 없는 인스턴스(최대 500개 노드)로의 일반화가 훨씬 뛰어나며, 희소 보상 기반 학습이 더 넓은 구조적 패턴을 포착함으로써 열악한 조건에서도 뛰어난 제로샷 일반화 성능을 보여, RL이 척도에 영향을 받지 않는 조합 최적화 솔버의 핵심 기반 기술이 될 수 있음을 입증한다.

ABSTRACT

We explore the impact of learning paradigms on training deep neural networks for the Travelling Salesman Problem. We design controlled experiments to train supervised learning (SL) and reinforcement learning (RL) models on fixed graph sizes up to 100 nodes, and evaluate them on variable sized graphs up to 500 nodes. Beyond not needing labelled data, our results reveal favorable properties of RL over SL: RL training leads to better emergent generalization to variable graph sizes and is a key component for learning scale-invariant solvers for novel combinatorial problems.

연구 동기 및 목표

• 학습 파라다임—지도학습(SL) 대비 강화학습(RL)—이 TSP에 대한 딥러닝 모델의 일반화에 미치는 영향을 조사하는 것.
• RL은 샘플 효율성이 떨어지지만, 다양한 크기와 더 큰 그래프 크기로의 잠재적 일반화 성능에 유리한 점이 있는지 평가하는 것.
• SL에 비해 RL 기반 훈련이 특정 그래프 크기에 과적합되지 않고 더 척도에 영향을 받지 않는 정책을 도출하는지 확인하는 것.
• 순차적 TSP 솔버의 맥락에서 RL과 SL의 안정성과 샘플 효율성을 평가하는 것.

제안 방법

• 동일한 순차적 그래프 어텐션 네트워크 모델을 두 개 훈련: 하나는 롤아웃 기반 백그라운드를 사용한 REINFORCE(RL), 다른 하나는 최적 해를 사용한 교차 엔트로피 손실(SL).
• 고정 크기의 훈련 데이터(TSP20, TSP50, TSP100)를 사용하고, TSP20에서 TSP500까지의 테스트 세트에서 일반화 성능을 평가.
• 안정성 평가를 위해 세 가지 디코딩 전략 사용: 근사 탐색, 샘플링(1,280개 해), 베이머 스크래치(빔 폭 1,280)를 사용.
• 보류된 테스트 세트에서 평균 순회 길이와 최적 해에서의 편차 비율(최적성 갭)을 성능 측정 지표로 사용.
• 학습 파라다임의 영향을 분리하기 위해 제어 실험 수행: 모델 아키텍처, 옵timizer, 훈련 초모수를 동일하게 유지.
• 롤아웃 기반 백그라운드를 크리틱 기반 백그라운드로 교체하고, 그래프 트랜스포머 인코더를 GCN 인코더로 교체하여 결과의 탄력성 테스트.

실험 결과

연구 질문

• RQ1 강화학습(RL)이 훈련 크기보다 큰, 볼 수 없는 TSP 인스턴스로의 제로샷 일반화에서 지도학습(SL)을 능가하는가?
• RQ2 RL의 뛰어난 일반화 능력은 학습 파라다임 자체의 결과인지, 또는 그래프 인코더나 기반 백그라운드 유형과 같은 특정 모델 구성 요소에 의존하는가?
• RQ3 다른 디코딩 전략(근사, 샘플링, 베이머 스크래치)은 다양한 크기의 TSP 인스턴스에서 SL 및 RL 모델의 성능와 안정성에 어떤 영향을 미치는가?
• RQ4 순차적 모델을 사용한 TSP에 적용했을 때, RL 훈련은 SL만큼 안정적이고 샘플 효율적인가?
• RQ5 RL 기반 훈련은 레이블이 없는 데이터가 필요 없이도 조합 최적화 문제에 대해 척도에 영향을 받지 않는 솔버를 도출할 수 있는가?

주요 결과

• 고정된 훈련 크기(TSP20–TSP100)에서, SL 및 RL 모델 모두 거의 최적의 성능를 달성하며, SL 모델은 베이머 스크래치를 사용할 때 TSP100에서 0.38%의 최적성 갭을 기록한다.
• 더 큰 인스턴스(TSP150–TSP500)로의 제로샷 일반화에서, RL 모델은 모든 디코딩 전략에서 SL 모델을 일관되게 능가하며, 특히 근사 탐색에서 가장 큰 성능 격차를 보인다.
• TSP500에서 베이머 스크래치를 사용할 경우, RL 모델의 최적성 갭은 2.85%였고, SL 모델은 7.79%였으며, 이는 RL이 훨씬 더 뛰어난 일반화 능력을 지녔음을 시사한다.
• 샘플링 기반 디코딩은 큰 인스턴스에서 근사 탐색보다 성능이 열 劣하였는데, 이는 균일한 확률 분포가 정책의 신뢰도가 낮음을 시사하기 때문이다.
• 안정성과 샘플 효율성 면에서 RL과 SL는 유사하였으며, 동일한 학습률 하에서 약 같은 수의 미니배치로 수렴하였다.
• RL의 뛰어난 일반화 능력은 다양한 기반 백그라운드(롤아웃 대비 크리틱)와 그래프 인코더(그래프 트랜스포머 대비 GCN)에 대해 뚜렷하게 유지되었으며, 이는 학습 파라다임 자체에 기인한 것임을 확인한다.