[논문 리뷰] Combinatorial Optimization by Graph Pointer Networks and Hierarchical Reinforcement Learning

Qiang Ma, Suwen Ge외 3명|arXiv (Cornell University)|2019. 11. 12.

Reinforcement Learning in Robotics참고 문헌 26인용 수 139

한 줄 요약

그래프 포인터 네트워크(GPNs)를 도입하고 그래프 임베딩으로 TSP, 계층형 RL 프레임워크(HGPN)을 활용해 시간 창(Time Windows) 제약이 있는 문제를 다루며, 대규모 인스턴스로의 일반화 및 실행 가능성 경쟁력을 보임.

ABSTRACT

In this work, we introduce Graph Pointer Networks (GPNs) trained using reinforcement learning (RL) for tackling the traveling salesman problem (TSP). GPNs build upon Pointer Networks by introducing a graph embedding layer on the input, which captures relationships between nodes. Furthermore, to approximate solutions to constrained combinatorial optimization problems such as the TSP with time windows, we train hierarchical GPNs (HGPNs) using RL, which learns a hierarchical policy to find an optimal city permutation under constraints. Each layer of the hierarchy is designed with a separate reward function, resulting in stable training. Our results demonstrate that GPNs trained on small-scale TSP50/100 problems generalize well to larger-scale TSP500/1000 problems, with shorter tour lengths and faster computational times. We verify that for constrained TSP problems such as the TSP with time windows, the feasible solutions found via hierarchical RL training outperform previous baselines. In the spirit of reproducible research we make our data, models, and code publicly available.

연구 동기 및 목표

• 학습 기반 방법으로 Traveling Salesman Problem (TSP) 및 제약 변형 해결 동기 부여.
• 도시 간 관계를 더 잘 포착하기 위해 그래프 임베딩을 통합하는 Graph Pointer Networks (GPNs) 제안.
• 시간 창과 같은 제약을 처리하기 위한 계층형 강화 학습 (HGPN) 도입.
• 작은 TSP 인스턴스에서 큰 인스턴스로의 일반화를 입증하고 TSP with Time Windows (TSPTW)에서 평가.
• 벤치마킹과 추가 연구를 촉진하기 위해 재현 가능한 코드와 데이터를 제공합니다.

제안 방법

• 도시 간 관계를 포착하기 위한 포인트 인코더와 그래프 임베딩 계층을 갖춘 Graph Pointer Networks (GPNs) 개발.
• 벡터 컨텍스트(도시 좌표 간 차이)를 사용해 더 큰 TSP에 대한 전이 가능성 향상.
• 정책 그라디언트와 중앙 자기 비판 기반 기준선을 사용하여 강화 학습으로 GPNs을 학습.
• 시간 창과 같은 제약 문제를 위해 두 계층의 계층형 GPN(HGPN)을 도입해 작업을 분해하고 학습을 안정화.
• 계층별 정책 최적화를 사용해 하위 계층은 실행 가능 제약을 강제하고 상위 계층은 목표를 최적화.
• Latent 변수에 의한 하위 계층 피드백이 상위 계층 의사결정에 편향을 주는 2계층 HGPN 아키텍처를 제공.

실험 결과

연구 질문

• RQ1 Graph Pointer Networks가 작은 규모에서 큰 규모의 TSP 인스턴스로 일반화할 수 있는가?
• RQ2 그래프 임베딩과 벡터 컨텍스트를 도입하면 포인터 기반 모델의 성능이 개선되는가?
• RQ3 계층형 RL에서 계층별 보상을 사용해 TSPTW와 같은 제약 변형 문제를 효과적으로 해결할 수 있는가?
• RQ4 HGPN이 대규모 TSP 및 제약 변형에서 고전 솔버 및 다른 ML 기반 접근법과 어떻게 비교되는가?

주요 결과

• 그래프 임베딩을 갖춘 GPN은 작은 TSP(TSP50 등)에서 더 큰 인스턴스(TSP1000까지)로 일반화하며 경쟁력 있는 여정 길이와 더 빠른 실행 시간을 달성한다.
• 큰 규모의 TSP에서 벡터 컨텍스트를 갖춘 GPN은 포인트 컨텍스트를 가진 것보다 일반화가 향상된다.
• HGPN은 TSPTW에서 베이스라인을 능가하여 여러 설정에서 더 높은 실행 가능성과 더 낮은 비용을 달성한다.
• 대규모 TSP 벤치마크에서 2-opt 보정이 포함된 GPN 기반 방법(GPN+2opt)은 일부 OR-Tools 구성보다 우수하고 특정 설정에서 최첨단에 근접한다.
• 실제 TSPLIB 평가에서 GPN+2opt이 경쟁력 있는 간격을 달성하고 특정 솔버보다 실행 시간이 현저히 짧다.