[논문 리뷰] Attention Solves Your TSP, Approximately

Wouter Kool, Herke van Hoof외 1명|arXiv (Cornell University)|2018. 03. 22.

Vehicle Routing Optimization Methods인용 수 18

한 줄 요약

이 논문은 TSP를 위한 그래프 어텐션 네트워크 기반 휴리스틱을 제안하며, 효율적인 훈련을 위해 동적 백그라운드를 사용하는 REINFORCE를 활용해 종단 간(end-to-end)으로 near-optimal 투어를 학습한다. 20노드 인스턴스에서 최적성 갭을 0.32%로 줄여 이전의 학습된 휴리스틱들보다 뚜렷이 뛰어난 성능을 보였다.

ABSTRACT

The development of efficient (heuristic) algorithms for practical combinatorial optimization problems is costly, so we want to automatically learn them instead. We show the feasibility of this approach on the important Travelling Salesman Problem (TSP). We learn a heuristic algorithm that uses a Neural Network policy to construct a tour. As an alternative to the Pointer Network, our model is based entirely on (graph) attention layers and is invariant to the input order of the nodes. We train the model efficiently using REINFORCE with a simple and robust baseline based on a deterministic (greedy) rollout of the best policy so far. We significantly improve over results from previous works that consider learned heuristics for the TSP, reducing the optimality gap for a single tour construction from 1.51% to 0.32% for instances with 20 nodes, from 4.59% to 1.71% for 50 nodes and from 6.89% to 4.43% for 100 nodes. Additionally, we improve over a recent Reinforcement Learning framework for two variants of the Vehicle Routing Problem (VRP).

연구 동기 및 목표

• 입력 노드 순서에 영향을 받지 않는 종단 간 훈련이 가능한 신경 휴리스틱을 개발하는 것.
• 투어 구성에서 최적성 갭을 줄임으로써 기존의 학습된 휴리스틱들을 향상시키는 것.
• 강력하고 적응형 백그라운드를 사용해 정책 네트워크의 훈련을 효율적으로 수행하는 것.
• Vehicle Routing Problem(VRP)의 변형들로의 방법의 효과를 확장하는 것.

제안 방법

• 모델은 노드 임베딩를 처리하고 투어 구성을 위한 후보 노드에 어텐션을 집중시키기 위해 그래프 어텐션 네트워크(GAT) 아키텍처를 사용한다.
• 정책 네트워크는 현재까지 구성된 최고의 결정론적 투어를 사용하는 동적 백그라운드를 갖춘 REINFORCE로 훈련된다.
• 어텐션 기반 아키텍처 덕분에 모델은 순열 불변성(permutation invariance)을 가지며, 입력 노드 순서에 관계없이 일관된 예측을 보장한다.
• 투어 구성은 단계별로 진행되며, 모델은 방문하지 않은 노드들에 대한 어텐션 점수를 기반으로 다음 도시를 선택한다.
• 훈련 목표는 음수의 기대 투어 길이를 최소화하는 것으로, 정책이 고품질의 투어를 학습하도록 유도한다.
• 이 방법은 TSP와 두 가지 VRP 변형에서 평가되어 TSP를 초월한 일반화 능력을 보였다.

실험 결과

연구 질문

• RQ1 순수한 어텐션 기반 신경망은 입력 순서에 영향을 받지 않는 경쟁력 있는 TSP 휴리스틱을 학습할 수 있는가?
• RQ2 REINFORCE 훈련에서 동적 백그라운드를 사용할 경우 정적 또는 무작위 백그라운드보다 빠른 수렴과 더 나은 성능을 달성하는가?
• RQ3 다양한 인스턴스 크기에서 기존의 학습된 휴리스틱과 고전적 휴리스틱과 비교해 최적성 갭 측면에서 학습된 휴리스틱은 어떻게 성능을 내는가?
• RQ4 이 방법은 Vehicle Routing Problem(VRP)의 변형들을 효과적으로 해결하는 데 확장할 수 있는가?

주요 결과

• 20노드 TSP 인스턴스에서 최적성 갭이 이전 연구의 1.51%에서 0.32%로 감소하였다.
• 50노드 인스턴스에서는 최적성 갭이 4.59%에서 1.71%로 감소하였다.
• 100노드 인스턴스에서는 최적성 갭이 6.89%에서 4.43%로 감소하였다.
• 이 방법은 TSP에서 이전의 학습된 휴리스틱들을 능가했으며, 두 가지 VRP 변형에서도 성능 향상을 보였다.
• REINFORCE 훈련에서 동적 백그라운드의 사용은 안정적이고 효율적인 학습을 이끌었다.
• 모델의 어텐션 메커니즘은 순열 불변성을 가능하게 하여 입력 순서에 대한 강건성을 확보했다.