[논문 리뷰] Solving the single-track train scheduling problem via Deep Reinforcement Learning

Valerio Agasucci, Giorgio Grani외 1명|arXiv (Cornell University)|2020. 09. 01.

Railway Systems and Energy Efficiency참고 문헌 16인용 수 4

한 줄 요약

이 논문은 단일 궤도 열차 운행 조정 문제를 해결하기 위해 딥 Q-네트워크(DQN) 기반 강화학습 접근법을 제안하며, 각 열차에 대한 분산형(개별 에이전트)과 전역 관측을 갖춘 중심집중형(그래프 신경망을 활용) 방법을 비교한다. 중심집중형 DQN은 전통적인 선형 Q-학습 및 정수형 선형계획법(MILP) 수식보다 우수한 성능을 보이며, 특히 크고 복잡한 인스턴스에서 평균 지연을 최대 50% 감소시킨다.

ABSTRACT

Every day, railways experience disturbances and disruptions, both on the network and the fleet side, that affect the stability of rail traffic. Induced delays propagate through the network, which leads to a mismatch in demand and offer for goods and passengers, and, in turn, to a loss in service quality. In these cases, it is the duty of human traffic controllers, the so-called dispatchers, to do their best to minimize the impact on traffic. However, dispatchers inevitably have a limited depth of perception of the knock-on effect of their decisions, particularly how they affect areas of the network that are outside their direct control. In recent years, much work in Decision Science has been devoted to developing methods to solve the problem automatically and support the dispatchers in this challenging task. This paper investigates Machine Learning-based methods for tackling this problem, proposing two different Deep Q-Learning methods(Decentralized and Centralized). Numerical results show the superiority of these techniques with respect to the classical linear Q-Learning based on matrices. Moreover, the Centralized approach is compared with a MILP formulation showing interesting results. The experiments are inspired by data provided by a U.S. Class 1 railroad.

연구 동기 및 목표

• 네트워크 장애 상황에서 인간 조정사가 후속 영향을 제한적으로 인지하는 실시간, 온라인 열차 조정 문제를 해결하기 위해.
• 딥 강화학습이 전통적인 최적화 기법과 선형 Q-학습 방법보다 단일 궤도 열차 스케줄링 문제를 해결하는 데서 우월한 성능을 보일 수 있는지 조사하기 위해.
• 미국 1등 철도 회사의 사례를 모델로 삼은 현실적인 대규모 철도 인스턴스에서 분산형과 중심집중형 DQN 접근법의 확장성 및 성능을 평가하기 위해.
• 시간 제약 조건 하에서 솔루션 품질과 계산 효율성 측면에서 딥 RL 접근법과 표준 MILP 수식을 비교하기 위해.

제안 방법

• 논문은 열차 조정 문제를 마르코프 결정 과정(MDP)으로 공식화하며, 여기서 행동은 재스케줄링 또는 경로 변경 결정에 해당한다.
• 두 가지 DQN 변종을 제안한다: 각 열차가 인근 선로 상태를 국소적으로 관측하는 분산형 접근법과 전역 네트워크 시각화를 갖춘 중심집중형 접근법.
• 중심집중형 방법은 철도 네트워크 상태를 인코딩하고 Q-값을 추정하기 위해 그래프 신경망(GNN)을 활용하며, 이는 다양한 네트워크 크기 간의 일반화를 가능하게 한다.
• DQN 에이전트는 경험 재생과 타겟 네트워크를 사용하여 학습 안정성을 확보하며, 희소한 지연 기반 보상 구조를 적용한다.
• 모든 인스턴스에 대해 10분의 시간 제한을 두고, 열차 수와 자원(선로/역) 수가 다른 다섯 개의 테스트 세트에서 평가한다.
• 성능 평가 기준으로는 해결된 인스턴스 수, 평균 지연, 겹치는 문제 세트에서의 솔루션 품질을 사용한다.

실험 결과

연구 질문

• RQ1 딥 Q-학습이 단일 궤도 열차 조정 문제 해결에서 전통적인 선형 Q-학습보다 뛰어난 성능을 보일 수 있는가?
• RQ2 GNN 기반 상태 표현을 사용하는 중심집중형 DQN은 솔루션 품질과 확장성 측면에서 MILP 수식과 비교해 어떻게 성능을 내는가?
• RQ3 재학습 없이도 중심집중형 DQN이 더 큰 철도 네트워크에 효과적으로 일반화되는가?
• RQ4 문제 복잡도가 증가함에 따라 분산형과 중심집중형 DQN 접근법 간 성능 및 내성 차이는 어떻게 드러나는가?
• RQ5 대규모이고 복잡한 인스턴스에서 RL 기반 접근법은 MILP 대비 평균 지연을 얼마나 줄일 수 있는가?

주요 결과

• 가장 복잡한 테스트 세트(50대의 열차, 196개의 자원)에서 중심집중형 DQN은 MILP 수식 대비 평균 지연을 최대 50% 감소시켰다. 여기서 MILP의 평균 지연은 32,504였고, RL의 평균 지연은 16,379였다.
• 50 T 185 R 테스트 세트에서 MILP의 평균 지연은 RL 접근법 대비 150% 높았으며, 이는 고복잡도 조건 하에서 뚜렷한 성능 격차를 보여준다.
• 중심집중형 DQN은 10분 시간 제한 내에 50개 인스턴스 중 43개를 해결했고, MILP는 41개만 해결하여 시간 제약 조건 하에서도 유사하거나 더 높은 실행 가능성(가능성)을 보였다.
• 중심집중형 방법은 더 큰 네트워크로의 일반화가 잘 되었으며, 자원 수가 137개에서 196개로 증가하더라도 지연이 낮게 유지되었다. 반면 MILP는 평균 지연이 급격히 증가하는 경향을 보였다.
• 분산형 DQN은 작은 인스턴스에서는 뛰어난 성능를 보였지만, 전역 네트워크 상태에 대한 인식 한계로 인해 확장성에 어려움을 겪었으며, 특히 큰 네트워크에서는 문제가 심화되었다.
• 겹치는 해결된 인스턴스에서 딥 RL 기반 방법은 항상 MILP보다 낮은 평균 지연을 기록했으며, 문제 크기가 커질수록 이 우월성이 두드러졌다. 이는 기반 학습 기반의 전역 계획 수립의 이점을 강조한다.