[논문 리뷰] Large Neighborhood Search based on Neural Construction Heuristics

Jonas K. Falkner, Daniela Thyssens외 1명|arXiv (Cornell University)|2022. 05. 02.

Vehicle Routing Optimization Methods인용 수 4

한 줄 요약

이 논문은 시간 창이 있는 차량 경로 문제(VRPTW)에 대해, 강화학습을 통해 레이블 없이 학습된 그래프 신경망 기반 신경 구축 히우리즘(NCH)을 복구 연산자로 사용하는 대규모 이웃 탐색(LNS) 프레임워크를 제안한다. NCH는 효율적이고 미분 가능한 해 재구성 가능하며, 600노드 인스턴스에서 최고의 알려진 해의 1.1배에 가까운 성능을 달성하고, GPU 하드웨어에서 상당한 속도 향상을 보인다.

ABSTRACT

We propose a Large Neighborhood Search (LNS) approach utilizing a learned construction heuristic based on neural networks as repair operator to solve the vehicle routing problem with time windows (VRPTW). Our method uses graph neural networks to encode the problem and auto-regressively decodes a solution and is trained with reinforcement learning on the construction task without requiring any labels for supervision. The neural repair operator is combined with a local search routine, heuristic destruction operators and a selection procedure applied to a small population to arrive at a sophisticated solution approach. The key idea is to use the learned model to re-construct the partially destructed solution and to introduce randomness via the destruction heuristics (or the stochastic policy itself) to effectively explore a large neighborhood.

연구 동기 및 목표

• 차량 경로 문제에서 대규모 이웃 탐색(LNS)을 위한 확장 가능하고, 미분 가능한 복구 연산자를 개발하기 위해.
• 표준 어텐션 기반 모델이 대규모 VRPTW에서 가지는 한계를 해결하기 위해, 자기 어텐션(self-attention)을 국소화된 그래프 신경망으로 대체함으로써 확장성과 성능 향상을 도모하기 위해.
• 학습된 복구와 히우리즘 기반 파손 연산자, 그리고 확률적 성격을 결합하여 LNS 내에서 효과적인 이웃 탐색을 가능하게 하기 위해.
• 실제 세계의 벤치마크 환경, 특히 DIMACS VRPTW 챌린지에서의 성능 평가를 통해 수작업으로 설계된 솔버들과의 경쟁력을 점검하기 위해.
• 복잡한 조합 최적화 문제에서 엔드 투 엔드로 학습된 구축 히우리즘의 실현 가능성과 성능 잠재력을 입증하기 위해.

제안 방법

• 모델은 각 노드의 정적 공간 이웃을 인코딩하기 위해 그래프 신경망(GNN)을 사용하며, 복구 과정 중에 사전에 계산되고 고정되어 있어 복잡도를 O(N²)에서 O(Nk)로 감소시킨다.
• 동적 노드 임베딩은 각 복구 단계에서 현재 경로의 국소적 이웃에 대해 GNN을 적용하여 계산되며, 행동 선택을 위한 경로 기반의 맥락을 반영한다.
• 최종 노드 임베딩은 정적 및 동적 임베딩의 합으로 표현되며, $\tilde{x}_i^{(t)} = \tilde{x}_i^{\text{stat}} + \tilde{x}_i^{\text{dyn}}$ 로 정의되며, 맥락 인식 가능하고 순차적인 해 구성이 가능하다.
• 결합된 임베딩에 기반한 어텐션 기반 정책 네트워크가 다음에 경로에 추가할 노드를 선택하며, 탐욕적 선택 또는 소프트맥스 샘플링 방식을 사용할 수 있다.
• 신경 복구 연산자는 히우리즘 기반 파손 연산자(예: 무작위, 대기 시간 기반, 경로 제거)와 함께 LNS 프레임워크에 통합되어 다양한 이웃 탐색을 가능하게 한다.
• 복구 후 가이드드 로컬 서치(GLS)를 적용하여 해를 추가로 향상시키며, 인스턴스 크기에 비례하여 시간 제한을 조정한다.

실험 결과

연구 질문

• RQ1 강화학습을 통해 학습된 신경 구축 히우리즘은 VRPTW의 LNS에서 효과적이고 일반화 가능한 복구 연산자로 기능할 수 있는가?
• RQ2 자기 어텐션을 국소화된 GNN으로 대체할 경우, 대규모 VRPTW 인스턴스에서 확장성과 성능에 어떤 영향을 미치는가?
• RQ3 학습된 복구 연산자와 히우리즘 기반 파손을 조합할 경우, 기존의 탐욕 히우리즘을 사용하는 전통적 LNS에 비해 해 품질 향상 정도는 어느 정도인가?
• RQ4 600노드와 같은 더 큰 문제 크기나 분포 외부 인스턴스에서, 최신 기술 수준의 솔버들과 비교해 본 결과, 이 방법은 어떤 성능을 보이는가?
• RQ5 단일 스레드 CPU 환경에서 평가할 때, GPU 최적화된 GNN 기반 NCH는 어떤 계산적 이점이 있는가?

주요 결과

• 제안된 솔버는 600노드 VRPTW 인스턴스에서 평균적으로 최고의 알려진 해(BKS)의 1.1배 성능을 달성했으며, 모든 벤치마크 유형에서 중앙값 오차가 10% 이하로 나타났다.
• Solomon 및 Homberger & Gehring 벤치마크에서, 600노드의 R2, C2, RC2 인스턴스에 대해 평균 9.99%의 오차를 기록하여 뛰어난 확장성을 입증했다.
• 소비자급 GPU(NVIDIA GeForce 1080 Ti)에서 단일 스레드 CPU 추론 대비 15~20배의 속도 향상을 보였으며, GPU에 최적화된 효율성을 입증했다.
• 사전 계산된 정적 GNN 임베딩을 사용함으로써 계산 복잡도를 O(N²)에서 O(Nk)로 감소시켜 대규모 인스턴스에서도 실행 가능한 추론이 가능해졌다.
• 기존의 표준 히우리즘을 사용하는 LNS 베이스라인에 비해 성능이 뛰어나, 학습된 복구 연산자가 이웃 탐색의 질을 크게 향상시키고 해 품질을 개선할 수 있음을 보여주었다.
• 실험 단계에 있지만, 수작업으로 세밀하게 튜닝된 솔버들과 경쟁 가능한 성능을 달성했으며, 엔드 투 엔드 미세조정을 통해 향후 더 큰 잠재력을 지닌다는 점을 시사한다.