[논문 리뷰] Attention Solves Your TSP.

Wouter Kool, Max Welling|arXiv (Cornell University)|2018. 03. 22.

Advanced Neural Network Applications참고 문헌 11인용 수 33

한 줄 요약

이 논문은 2D 유클리드 TSP를 해결하기 위해 어텐션 기반 강화학습 프레임워크를 제안한다. 포인터 네트워크 대신 순수한 그래프 어텐션 아키텍처를 사용하고, REINFORCE 알고리즘과 동적 그레디 기반을 통해 훈련한다. 20노드 TSP 인스턴스에서 최적성 갭이 0.33%로 75% 감소했고, 50노드 인스턴스에서는 2.28%로 50% 감소하여 이전의 학습 기반 방법들보다 뚜렷이 뛰어난 성능을 보였다.

ABSTRACT

We propose a framework for solving combinatorial optimization problems of which the output can be represented as a sequence of input elements. As an alternative to the Pointer Network, we parameterize a policy by a model based entirely on (graph) attention layers, and train it efficiently using REINFORCE with a simple and robust baseline based on a deterministic (greedy) rollout of the best policy found during training. We significantly improve over state-of-the-art results for learning algorithms for the 2D Euclidean TSP, reducing the optimality gap for a single tour construction by more than 75% (to 0.33%) and 50% (to 2.28%) for instances with 20 and 50 nodes respectively.

연구 동기 및 목표

• 조합 최적화 문제 해결을 위한 기존 딥러닝 방법, 특히 포인터 네트워크의 한계를 해결하기 위해.
• 포인터 메커니즘을 사용하는 순차적 디코딩을 피하고, 정책 파rameterization에 오직 그래프 어텐션 레이어만을 사용하는 모델을 개발하기 위해.
• 훈련 중에 발견한 최상의 정책의 그레디 롤아웃을 기반으로 한 동적 기반을 도입하여 TSP에 대한 강화학습의 샘플 효율성과 성능을 향상시키기 위해.
• 최소한의 아키텍처 수정으로 학습 기반 TSP 해결에서 최고 성능을 달성하기 위해.

제안 방법

• 정책은 다중 헤드 그래프 어텐션 레이어로 완전히 파arameter화되어 있어, TSP 투어의 시퀀스 생성을 위한 엔드 투 엔드 학습이 가능하다.
• 강화학습은 이점 추정을 사용한 REINFORCE 알고리즘을 통해 수행된다.
• 동적 기반 기법이 사용되며, 이는 훈련 중에 관찰한 최상의 정책을 유지하고, 그 정책의 그레디 롤아웃을 사용하여 정책 기울기 분산을 줄인다.
• 20노드와 50노드의 TSP 인스턴스로 구성된 대규모 데이터셋을 사용하여 훈련되며, 보상은 음수 투어 길이로 형태화된다.
• 어텐션 메커니즘은 노드의 맥락 인식 표현을 계산하여, 투어 구성 단계에서 관련 있는 노드에 주목할 수 있도록 한다.
• 최종 투어는 현재 노드와 나머지 미방문 노드에 주목함으로써 순차적으로 생성된다.

실험 결과

연구 질문

• RQ1 순수한 어텐션 기반 아키텍처가 TSP를 해결하는 데 있어 포인터 네트워크를 능가할 수 있는가?
• RQ2 동적 그레디 기반을 사용하면 REINFORCE 기반 훈련에서 샘플 효율성과 성능이 향상되는가?
• RQ3 자기 어텐션 메커니즘이 TSP 인스턴스의 장거리 의존성과 구조적 패턴을 어느 정도 잘 포착할 수 있는가?
• RQ4 기존의 학습 기반 접근 방식과 비교할 때, 표준 TSP 벤치마크에서 최적성 갭 측면에서 제안된 방법은 어떤가?
• RQ5 아키텍처 재훈련 없이도 다양한 TSP 인스턴스 크기 간에 일반화가 가능한가?

주요 결과

• 제안된 방법은 20노드 TSP 인스턴스에서 최적성 갭을 0.33%로 줄여 이전의 학습 기반 방법보다 75% 향상시켰다.
• 50노드 TSP 인스턴스에서는 최적성 갭이 2.28%로 줄어들어 이전의 학습 기반 접근 방식보다 50% 향상되었다.
• 오직 어텐션 레이어와 동적 기반만을 사용하여 20노드 및 50노드 TSP 벤치마크에서 최고 성능을 달성했다.
• 동적 기반은 정적 기반 또는 기반 없는 대안들에 비해 훈련의 안정성과 수렴 속도를 크게 향상시켰다.
• 어텐션 메커니즘은 포인터 네트워크나 순환 구조에 의존하지 않고도 효과적인 노드 관계 모델링을 가능하게 했다.
• 프레임워크는 다양한 인스턴스 크기 간에 잘 일반화되며, 아키텍처 재훈련 없이도 높은 성능을 유지한다.