[논문 리뷰] A Deep Reinforcement Learning Algorithm Using Dynamic Attention Model for Vehicle Routing Problems

Bo Peng, Jiahai Wang외 1명|arXiv (Cornell University)|2020. 02. 09.

Vehicle Routing Optimization Methods참고 문헌 30인용 수 12

한 줄 요약

이 논문은 차량 경로 문제(VRP)에서 각 구성 단계에서 노드 특징을 업데이트하는 동적 인코더-디코더 아키텍처를 갖춘 동적 어텐션 모델(AM-D)을 제안한다. 이는 숨겨진 구조적 정보를 더 잘 활용할 수 있도록 한다. 이 방법은 이전의 어텐션 기반 모델과 기저선 휴리스틱보다 우수한 성능을 보이며, 다양한 인스턴스 크기에서 낮은 최적성 갭과 뛰어난 일반화 성능을 달성한다.

ABSTRACT

Recent researches show that machine learning has the potential to learn better heuristics than the one designed by human for solving combinatorial optimization problems. The deep neural network is used to characterize the input instance for constructing a feasible solution incrementally. Recently, an attention model is proposed to solve routing problems. In this model, the state of an instance is represented by node features that are fixed over time. However, the fact is, the state of an instance is changed according to the decision that the model made at different construction steps, and the node features should be updated correspondingly. Therefore, this paper presents a dynamic attention model with dynamic encoder-decoder architecture, which enables the model to explore node features dynamically and exploit hidden structure information effectively at different construction steps. This paper focuses on a challenging NP-hard problem, vehicle routing problem. The experiments indicate that our model outperforms the previous methods and also shows a good generalization performance.

연구 동기 및 목표

• 기존 VRP 어텐션 모델에서 고정된 노드 임bedding의 한계를 해결하기 위해, 노드 특징이 변화하는 해법 상태에 적응하지 못하는 문제를 다룬다.
• 모델이 각 결정 단계에서 변화하는 인스턴스의 구조적 정보를 탐색하고 활용할 수 있도록 동적 인코더-디코더 아키텍처를 개발한다.
• 사람이 설계한 특징나 정규화된 감독 없이 데이터에서 끝에서 끝까지 휴리스틱 정책을 학습하고, 직접 해법 품질을 최적화한다.
• 대규모 VRP 인스턴스에서 방법을 평가하고, 다양한 문제 크기에서의 일반화 성능을 평가한다.
• 학습된 휴리스틱을 국소 검색과 조합하여 추가로 해법 품질을 향상시킬 수 있음을 보여준다.

제안 방법

• 모델는 각 단계에서 현재 부분 해법과 그래프 구조를 기반으로 노드 임베딩을 업데이트하는 동적 인코더-디코더 프레임워크를 사용한다.
• 노드 특징은 각 구성 단계에서 맥락에 따라 달라지는 구조적 특성을 포착하는 그래프 어텐션 메커니즘을 사용해 동적으로 재임베딩된다.
• 정책 네트워크는 부정적 순환 길이를 기반으로 한 에피소드 기반 보상과 함께 REINFORCE 알고리즘을 사용해 딥 강화학습으로 훈련된다.
• 모델는 후보 노드들에 대한 미분 가능한 어텐션 메커니즘을 통해 차례로 다음 노드를 선택함으로써 해법을 점진적으로 구성한다.
• 테스트 중에는 탐욕적 추론 전략을 사용하고, 추론 후 2-OPT 국소 검색을 적용하여 해법 품질을 추가로 향상시킨다.
• 훈련 과정은 오프라인이며 계산적으로 비용이 많이 들지만, 추론은 매우 빠르며 평균적으로 각 인스턴스당 0.29ms 소요되어 실시간 구현이 가능하다.

실험 결과

연구 질문

• RQ1 해법 구성 중에 노드 특징을 동적으로 업데이트하는 것이 고정 임베딩에 비해 VRP에 대해 더 나은 휴리스틱 정책을 이끌 수 있는가?
• RQ2 제안된 동적 어텐션 메커니즘이 벤치마크 VRP 인스턴스에서 해법 품질 향상과 최적성 갭 감소에 기여하는가?
• RQ3 학습 시 20개의 노드를 사용했지만 테스트 시 100개의 노드를 사용하는 등 다른 크기의 미사용 VRP 인스턴스에 대해 모델의 일반화 능력은 얼마나 우수한가?
• RQ4 학습된 휴리스틱을 국소 검색과 효과적으로 조합하여 해법 품질을 추가로 향상시킬 수 있는가?
• RQ5 훈련 과정은 더 큰 문제 인스턴스로 확장 가능한가? 그리고 전통적인 휴리스틱과 비교해 추론 속도는 어떻게 되는가?

주요 결과

• AM-D는 원본 정적 어텐션 모델(AM)과 다른 기저선 방법보다 뚜렷이 뛰어나며, VRP 인스턴스에서 최적성 갭을 감소시킨다.
• 20노드 인스턴스에서 훈련된 모델는 50노드 및 100노드 인스턴스로 잘 일반화되어, 일부 더 큰 인스턴스에서 훈련된 기저선보다 더 좋은 성능을 달성한다.
• 100노드 인스턴스에서 훈련된 모델도 20노드 및 50노드 인스턴스에서 잘 작동하여 강력한 크로스 스케일 일반화 능력을 보였다.
• AM-D에 2-OPT 국소 검색을 통합한 AM-D (2OPT)는 해법 품질을 추가로 향상시켰지만, 계산 시간이 증가하는 비용이 수반된다.
• 훈련된 모델을 사용한 추론은 매우 빠르며, 인스턴스당 평균 0.29밀리초 뿐이므로 실시간 응용에 적합하다.
• 훈련 단계는 계산적으로 비용이 많이 들지만(예: VRP20에 14시간), 이는 한 번만 수행되는 오프라인 과정이므로 효율적인 온라인 추론이 가능하다.