[논문 리뷰] Multi-Decoder Attention Model with Embedding Glimpse for Solving Vehicle Routing Problems

Liang Xin, Wen Song외 2명|arXiv (Cornell University)|2020. 12. 19.

Vehicle Routing Optimization Methods인용 수 11

한 줄 요약

이 논문은 차량 경로 문제를 위한 딥 강화 학습을 향상시키기 위해 임베딩 글립스 레이어를 갖춘 멀티디코더 어텐션 모델(MDAM)을 제안한다. 서로 다른 정책을 학습하기 위해 공유되지 않는 디코더를 사용하고, 각기 다른 패턴을 가지는 정책을 활용하기 위해 맞춤형 범프 서치를 적용하며, 방문한 노드를 제거하는 재귀적 임베딩 메커니즘을 통해 어텐션 품질을 향상시킴으로써, MDAM은 여섯 가지 경로 문제에서 최신 기술 수준(SOTA) 성능을 달성하며, 이전의 딥 러닝 방법보다 뛰어나고 정확도는 전통적 솔버에 근접하면서도 추론 속도가 훨씬 빠르다.

ABSTRACT

We present a novel deep reinforcement learning method to learn construction heuristics for vehicle routing problems. In specific, we propose a Multi-Decoder Attention Model (MDAM) to train multiple diverse policies, which effectively increases the chance of finding good solutions compared with existing methods that train only one policy. A customized beam search strategy is designed to fully exploit the diversity of MDAM. In addition, we propose an Embedding Glimpse layer in MDAM based on the recursive nature of construction, which can improve the quality of each policy by providing more informative embeddings. Extensive experiments on six different routing problems show that our method significantly outperforms the state-of-the-art deep learning based models.

연구 동기 및 목표

• 기존의 경로 문제를 위한 딥 강화 학습 모델이 단일 정책에 의존함으로써 중복되는 해 경로를 생성하는 데서 비롯되는 해의 다양성 부족 문제를 해결하기 위해.
• 어텐션 계산 과정에서 관련 없는 노드 정보로 인한 노이즈를 줄여 개별 구성 정책의 품질을 향상시키기 위해.
• 다양한 디코더가 학습한 고유한 해 패턴을 최대한 활용할 수 있도록, 각 디코더별 별도의 범프 빔을 유지하는 범프 서치 전략을 설계하기 위해.
• 방문한 노드를 어텐션 계산에서 지속적으로 제거하여 향후 결정에 더 유용한 임베딩을 제공하기 위해 재귀적 임베딩 메커니즘인 임베딩 글립스를 개발하기 위해.
• 멀티디코더의 다양성과 동적 임베딩 정제의 조합이 다양한 경로 문제에 대해 뛰어난 성능을 내는지 입증하기 위해.

제안 방법

• 모델은 전체 그래프에서 노드 임베딩을 생성하기 위해 트랜스포머 기반 인코더를 사용하고, 이후 서로 다른 구성 정책을 학습하기 위해 공유되지 않는 어텐션 디코더를 다수 사용한다.
• 각 디코더는 정책 다양성을 촉진하기 위해 노드 선택 확률 분포가 상이하도록 하기 위해 쿨백-라이블러 발산 손실을 사용하여 훈련된다.
• 맞춤형 범프 서치는 각 디코더별로 별도의 빔을 유지하여 추론 과정에서 각기 다른 해 패턴을 최대한 활용할 수 있도록 한다.
• 임베딩 글립스 레이어는 인코더의 최상위 어텐션 레이어에서 방문한 노드를 반복적으로 제거하여, 각 단계에서 디코더가 오직 관련 있는 노드 임베딩만 수신하도록 보장한다.
• 모델는 REINFORCE 알고리즘을 사용한 강화 학습을 통해 엔드 투 엔드로 훈련되며, 해의 품질에 기반한 정책 그래디언트가 최적화된다.
• 모델는 TSP, CVRP, SPCTSP를 포함한 여섯 가지 경로 문제에서 평가되며, 다수의 아블레이션 연구를 통해 멀티디코더 및 임베딩 글립스 구성요소의 기여도를 분리하여 분석한다.

실험 결과

연구 질문

• RQ1 공유되지 않는 디코더를 통해 다수의 다양성 있는 구성 정책을 학습시키는 것이 차량 경로 문제의 해 품질을 크게 향상시킬 수 있는가?
• RQ2 임베딩 글립스 레이어를 통해 어텐션 계산에서 방문한 노드를 동적으로 제거하면 개별 정책의 품질이 향상되는가?
• RQ3 각 디코더별 별도의 빔을 유지하는 맞춤형 범프 서치 전략이 다수의 정책 다양성을 효과적으로 활용하여 더 나은 해를 찾을 수 있는가?
• RQ4 정책 다양성과 향상된 임베딩의 조합이 다양한 경로 문제 인스턴스에서 기존의 딥 러닝 기반 베이스라인과 비교해 어떻게 성능을 냈는가?
• RQ5 MDAM 모델은 더 큰 문제 크기와 더 복잡한 변형 예를 포함한 오리엔티어링 문제(스토캐스틱 프라이즈 포함) 등에 잘 일반화되는가?

주요 결과

• MDAM은 TSP, CVRP, SPCTSP를 포함한 여섯 가지 다른 경로 문제에서 모든 인스턴스 세트에서 최신 기술 수준의 딥 러닝 기반 모델을 크게 능가한다.
• 멀티디코더 아키텍처(MD)는 일관되게 해 품질을 향상시키며, 게리디 디코딩 조건에서도 뚜렷한 성능 향상이 나타나고, 범프 서치와 조합될 경우 더 큰 성능 향상이 이루어진다.
• 임베딩 글립스 레이어는 최소한의 계산 오버헤드로 정책 품질을 향상시키며, 관련 없는 노드 정보를 제거함으로써 어텐션의 효과성을 높인다는 점을 입증한다.
• 범프 서치(B=50) 조건에서 여러 디코더가 빈번히 최고의 해를 찾으며, 단일 디코더가 지배하지는 않아 모든 디코더가 해 공간에 의미 있는 기여를 한다는 점을 확인한다.
• MDAM은 Concorde나 OR-Tools와 같은 고도로 최적화된 전통적 솔버와 유사한 해 품질을 달성하지만, 정확한 또는 반복 개선 방법보다 훨씬 빠른 추론 시간을 보인다.
• 모델는 더 큰 인스턴스(예: 150 및 200개 노드를 가진 CVRP)에 잘 일반화되며, 온도 조정 샘플링을 사용한 AM과 같은 더 강력한 기존 모델의 변형보다도 뛰어난 성능을 보인다.