[논문 리뷰] Attention, Learn to Solve Routing Problems!

Wouter Kool, Herke van Hoof외 1명|UvA-DARE (University of Amsterdam)|2018. 03. 22.

Vehicle Routing Optimization Methods인용 수 191

한 줄 요약

이 논문은 attention 기반 Encoder-Decoder 모델을 REINFORCE로 학습시키고 greedy rollout baseline을 사용하여 라우팅 문제에 대한 휴리스틱을 학습하며, 단일 하이퍼파라미터 세트로 TSP, VRP variants, OP, PCTSP, SPCTSP에서 강력한 성과를 달성합니다.

ABSTRACT

The recently presented idea to learn heuristics for combinatorial optimization problems is promising as it can save costly development. However, to push this idea towards practical implementation, we need better models and better ways of training. We contribute in both directions: we propose a model based on attention layers with benefits over the Pointer Network and we show how to train this model using REINFORCE with a simple baseline based on a deterministic greedy rollout, which we find is more efficient than using a value function. We significantly improve over recent learned heuristics for the Travelling Salesman Problem (TSP), getting close to optimal results for problems up to 100 nodes. With the same hyperparameters, we learn strong heuristics for two variants of the Vehicle Routing Problem (VRP), the Orienteering Problem (OP) and (a stochastic variant of) the Prize Collecting TSP (PCTSP), outperforming a wide range of baselines and getting results close to highly optimized and specialized algorithms.

연구 동기 및 목표

• 조합적 라우팅 문제에 대한 휴리스틱 학습 동기를 부여하여 핸드-크래프드 솔버에 대한 의존성을 줄인다.
• 라우팅 태스크에 대해 이전에 학습된 휴리스틱보다 향상된 attention-based encoder-decoder 아키텍처를 제안한다.
• 간단한 greedy rollout baseline을 사용하는 REINFORCE 학습의 효과를 보여준다.
• 실용적인 크기의 문제에서 TSP, VRP 변형, Orienteering Problem, Prize Collecting TSP, 그리고 stochastic variants를 해결함으로써 광범위한 적용 가능성을 시연한다.

제안 방법

• 그래프 구조 입력으로부터 노드 임베딩을 생성하는 attention-based encoder를 사용한다.
• 가능성(feasibility)을 위한 마스킹 전략과 함께 순회(permutation)를 단계별로 출력하는 Transformer-유사 디코더를 사용한다.
• 현재 최적정책에서의 결정적 greedy 솔루션에 기반한 rollout baseline을 사용하여 gradient 분산을 감소시키는 REINFORCE로 학습한다.
• 로짓 계산 중 컨텍스트 노드와 단일 헤드 어텐션을 활용한 가볍고 효율적인 디코딩 전략을 채택한다.
• 다양한 라우팅 문제에 걸쳐 고정된 하이퍼파라미터로 배치 학습을 수행하여 접근법의 일반화를 입증한다.

실험 결과

연구 질문

• RQ1 단일 하이퍼파라미터 세트로 다양한 라우팅 문제에서 효과적인 라우팅 휴리스틱을 학습하는 어텐션 기반 모델이 가능할까?
• RQ2 greedy rollout baseline을 사용하는 REINFORCE 학습이 라우팅 태스크에서 가치-기반 크리틱보다 더 안정적이고 효율적인 학습을 보이는가?
• RQ3 학습된 휴리스틱이 TSP, VRP 변형, OP, PCTSP(확률적 변형 포함)에서 실제 규모에서 전문화된 또는 정확한 솔버에 얼마나 근접할 수 있는가?
• RQ4 제안된 아키텍처 선택(인코더/디코더, 마스킹, 컨텍스트 노드)이 성능과 확장성에 어떤 영향을 미치는가?
• RQ5 학습된 정책이 문제 크기(n up to 100)와 다양한 문제 유형에 대해 문제별 조정 없이도 견고한가?

주요 결과

• Attention Model은 이전 학습 휴리스틱에 비해 TSP에서 최대 100노드까지 현저하게 개선된 성능을 보였으며, 일부 인스턴스에서 최적에 근접했다.
• 동일한 하이퍼파라미터로도 VRP 변형, Orienteering Problem, stochastic PCTSP에 대해 강력한 휴리스틱을 학습하여 다양한 베이스라인보다 우수한 성능을 보였다.
• REINFORCE와 단순한 greedy rollout baseline은 효과적인 학습과 actor-critic 방법에 비해 경쟁력 있는 성능을 제공한다.
• 이 방법은 여러 라우팅 문제에 걸쳐 일반화되며, 실제 라우팅 작업에 대해 단일 학습 휴리스틱 계열의 가능성을 시사한다.
• Greedy 디코딩 및 샘플링 전략은 솔루션 품질과 런타임 사이의 유연한 트레이드오프를 제공하며, 실제로 여러 비학습 베이스라인을 능가하는 경우가 많다.