[논문 리뷰] Solving Dynamic Graph Problems with Multi-Attention Deep Reinforcement Learning

Udesh Gunarathna, Renata Borovica‐Gajic외 2명|arXiv (Cornell University)|2022. 01. 13.

Vehicle Routing Optimization Methods인용 수 7

한 줄 요약

이 논문은 TSP 및 VRP와 같은 동적 그래프 조합 최적화 문제를 해결하기 위해 시간적 그래프 특징을 인코딩하고 동적으로 이를 집중적으로 분석하는 다중 주의(multi-attention) 딥 강화학습 아키텍처인 GTA-RL을 제안한다. 이는 동적 및 실시간 변형된 NP-난이도 그래프 문제에서 최적 해법과 유사한 효율성을 보이며 최신의 학습 기반 방법들을 능가한다.

ABSTRACT

Graph problems such as traveling salesman problem, or finding minimal Steiner trees are widely studied and used in data engineering and computer science. Typically, in real-world applications, the features of the graph tend to change over time, thus, finding a solution to the problem becomes challenging. The dynamic version of many graph problems are the key for a plethora of real-world problems in transportation, telecommunication, and social networks. In recent years, using deep learning techniques to find heuristic solutions for NP-hard graph combinatorial problems has gained much interest as these learned heuristics can find near-optimal solutions efficiently. However, most of the existing methods for learning heuristics focus on static graph problems. The dynamic nature makes NP-hard graph problems much more challenging to learn, and the existing methods fail to find reasonable solutions. In this paper, we propose a novel architecture named Graph Temporal Attention with Reinforcement Learning (GTA-RL) to learn heuristic solutions for graph-based dynamic combinatorial optimization problems. The GTA-RL architecture consists of an encoder capable of embedding temporal features of a combinatorial problem instance and a decoder capable of dynamically focusing on the embedded features to find a solution to a given combinatorial problem instance. We then extend our architecture to learn heuristics for the real-time version of combinatorial optimization problems where all input features of a problem are not known a prior, but rather learned in real-time. Our experimental results against several state-of-the-art learning-based algorithms and optimal solvers demonstrate that our approach outperforms the state-of-the-art learning-based approaches in terms of effectiveness and optimal solvers in terms of efficiency on dynamic and real-time graph combinatorial optimization.

연구 동기 및 목표

• 간선 가중치 등의 그래프 속성이 시간에 따라 변화하는 동적 그래프 조합 최적화 문제를 해결하는 데 도전한다.
• 기존의 딥 강화학습 방법들이 정적 그래프 문제에만 집중하고 동적 환경에서는 실패하는 한계를 극복한다.
• 수작업으로 만든 규칙이나 도메인 전용 엔지니어링에 의존하지 않는 일반화되고 확장 가능한 히ュ리스틱 학습 프레임워크를 개발한다.
• 입력 특징이 사전에 모두 알려지지 않은 채로 점진적으로 공개되는 실시간 시나리오로 모델을 확장한다.
• 학습 시 사용된 그래프 크기보다 더 큰 그래프 인스턴스에 대해 모델의 일반화 능력을 입증한다.

제안 방법

• 다중 헤드 자기주도 주의(multi-head self-attention)를 사용하여 시간 단위로 동적 그래프 특징을 인코딩하는 시간적 인코더-디코더 아키텍처를 설계한다.
• 조합 최적화 과정에서 순차적 결정을 내리기 위해 정책 기반 강화학습 프레임워크를 적용한다.
• 주의 점수를 기반으로 행동을 선택하는 그리디 추론 변형(GTA-RL-greedy)을 도입하여 해 품질을 향상시킨다.
• 과거 상태를 버퍼링하고 새로운 특징이 도착함에 따라 모델을 점진적으로 업데이트하는 실시간 변형(GTA-RL-rt)을 개발한다.
• 추론 중 해의 안정성과 품질을 향상시키기 위해 범위 너비 10의 비트 서치 전략을 사용한다.
• 최종 해 품질(예: 순회 길이)에 기반한 희소 보상(sparse rewards)을 사용하여 강화학습을 통해 모델을 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 딥 강화학습 모델이 시간이 지남에 따라 변화하는 간선 가중치 또는 노드 특징을 갖는 동적 그래프 조합 최적화 문제에 대해 히ュ리스틱을 효과적으로 학습할 수 있는가?
• RQ2 제안된 GTA-RL 모델은 동적 TSP 및 VRP 문제에서 최신 기술(SOTA) 기반 및 수작업 히ュ리스틱과 비교해 해 품질과 효율성 측면에서 어떻게 성과를 내는가?
• RQ3 학습에 사용된 그래프 크기(예: 20노드)보다 더 큰 그래프 인스턴스(예: 50노드)에 대해 훈련된 모델이 얼마나 잘 일반화되는가?
• RQ4 입력 특징이 추론 시점에 완전히 확보되지 않은 상태에서 점진적으로 공개되는 상황에서 실시간 변형(GTA-RL-rt)의 효과는 어떠한가?
• RQ5 정확한 해법보다 계산 효율성을 유지하면서도 동적 환경에서 near-optimal 성능을 달성할 수 있는가?

주요 결과

• GTA-RL은 동적 TSP 및 VRP 문제에서 최신 기술 기반 기준 및 수작업 히ュ리스틱을 능가하는 해 품질을 달성한다.
• 동적 TSP50에서 GTA-RL은 순회 길이 8.17을 기록했으며, 50노드 그래프로 훈련된 모델과 비교해 3.6%의 편차만을 보이며 뛰어난 일반화 능력을 입증한다.
• 동적 VRP50에서 GTA-RL은 50노드 그래프로 훈련된 모델과 비교해 순회 길이에서 4.3%의 오차를 보이며 강력한 확장성과 안정성을 입증한다.
• 실시간 변형인 GTA-RL-rt는 현재 시간의 정보만을 사용함에도 불구하고 GTA-RL-greedy와 유사한 평균 순회 길이를 기록했지만, 무작위 특징 변화로 인해 높은 변동성을 보였다.
• 시각화 결과 GTA-RL-greedy는 주의 기반 모델(AM)보다 더 일관되고 짧은 순회 경로를 생성했으며, Gurobi 최적 해에 훨씬 가까운 결과를 보였다.
• 모델는 동적 환경에서 near-optimal 성능을 달성하면서도 높은 효율성을 유지하며 정확한 해법보다 빠르고 확장성이 뛰어나다.