[논문 리뷰] Flatland-RL : Multi-Agent Reinforcement Learning on Trains

Sharada P. Mohanty, Erik Nygren외 12명|arXiv (Cornell University)|2020. 12. 10.

Transportation and Mobility Innovations참고 문헌 24인용 수 12

한 줄 요약

이 논문은 기차 운행 재스케줄링 문제(VRSP)에 대한 연구를 가속화하기 위해 다중에이전트강화학습(MARL)을 위한 단순화된 2D 격자 환경인 Flatland-RL을 소개한다. 실제 철도망을 이산적이고 계산 효율적인 격자 세계로 추상화함으로써 현실적인 인프라 제약 조건을 반영함으로써, MARL 및 이중학습에 대한 빠른 실험을 가능하게 하며, 이로써 강화학습이 전이 가능한 결과를 도출하여 SBB 및 Deutsche Bahn과 같은 실제 시스템에 효과적으로 적용될 수 있음을 보여준다.

ABSTRACT

Efficient automated scheduling of trains remains a major challenge for modern railway systems. The underlying vehicle rescheduling problem (VRSP) has been a major focus of Operations Research (OR) since decades. Traditional approaches use complex simulators to study VRSP, where experimenting with a broad range of novel ideas is time consuming and has a huge computational overhead. In this paper, we introduce a two-dimensional simplified grid environment called "Flatland" that allows for faster experimentation. Flatland does not only reduce the complexity of the full physical simulation, but also provides an easy-to-use interface to test novel approaches for the VRSP, such as Reinforcement Learning (RL) and Imitation Learning (IL). In order to probe the potential of Machine Learning (ML) research on Flatland, we (1) ran a first series of RL and IL experiments and (2) design and executed a public Benchmark at NeurIPS 2020 to engage a large community of researchers to work on this problem. Our own experimental results, on the one hand, demonstrate that ML has potential in solving the VRSP on Flatland. On the other hand, we identify key topics that need further research. Overall, the Flatland environment has proven to be a robust and valuable framework to investigate the VRSP for railway networks. Our experiments provide a good starting point for further research and for the participants of the NeurIPS 2020 Flatland Benchmark. All of these efforts together have the potential to have a substantial impact on shaping the mobility of the future.

연구 동기 및 목표

• 실제 철도 차량 재스케줄링 문제(VRSP)의 계산 비타당성 문제를 해결하기 위해 단순화되고 빠르게 시뮬레이션 가능한 2D 격자 환경을 도입하기 위해.
• 완전한 물리적 시뮬레이션의 복잡성을 줄임으로써 VRSP에 대한 강화학습(RL) 및 이중학습(IL)의 빠른 실험을 가능하게 하기 위해.
• NeurIPS 2020에서 공개 벤치마크를 통해 운영연구(OR) 및 기계학습(ML) 공동체 간의 협력을 촉진하기 위해.
• 단순화된 Flatland 환경에서 학습된 다중에이전트강화학습(MARL) 솔루션이 SBB 및 Deutsche Bahn과 같은 실제 철도 운영 시스템으로 전이 가능한지를 평가하기 위해.
• 확장 가능한 자동 기차 교통 관리 시스템을 위한 OR와 RL을 융합하는 데 있어 핵심 연구 과제와 기회를 규명하기 위해.

제안 방법

• Flatland는 기차 네트워크를 이산 셀로 구성된 2D 격자로 모델링하며, 기차는 실제 블록 신호 시스템을 반영한 엄격한 점유 규칙에 따라 인접한 셀로 이동한다.
• 환경는 격자 셀의 상호 배타성을 강제하여 실제 축축 카운터 및 신호 기반 블록 시스템을 모방함으로써 안전 제약 조건을 시뮬레이션한다.
• 기차 이동은 최고 속도 또는 정지 상태로 단순화되며, 최소한의 동역학을 유지함으로써 계산 오버헤드를 줄이면서도 핵심 스케줄링 복잡성을 유지한다.
• VRSP는 각 기차가 고유한 스케줄을 가진 에이전트로 간주되며, 전체 보상이 모든 기차의 지연을 최소화하는 다중에이전트강화학습 문제로 설정된다.
• 이 프레임워크는 딥강화학습(DRL) 및 이중학습(IL) 접근법을 모두 지원하며, 산업 파artner와 협력하여 개발된 기준 알고리즘(CCPPO)도 포함된다.
• NeurIPS 2020에서 공개 벤치마크를 실시하여, 표준화된 Flatland 환경에서 RL 및 IL 방법의 공동 평가 및 비교를 가능하게 하였다.

실험 결과

연구 질문

• RQ1 다중에이전트강화학습(MARL)은 단순화된 격자 기반 철도 환경에서 차량 재스케줄링 문제(VRSP)를 효과적으로 해결할 수 있는가?
• RQ2 VRSP에서 RL 및 이중학습 방법은 전통적인 운영연구(OR) 기법에 비해 지연 최소화 및 확장성 측면에서 어떤 성능을 보이는가?
• RQ3 Flatland 환경에서 학습된 솔루션은 SBB 및 Deutsche Bahn과 같은 실제 철도 시스템으로 얼마나 잘 전이 가능한가?
• RQ4 복잡한 인프라를 지닌 고밀도 실세계 철도 네트워크에 다중에이전트강화학습(MARL) 접근법을 확장하는 데 있어 핵심 과제는 무엇인가?
• RQ5 OR와 RL을 융합한 하이브리드 접근법은 자동 기차 스케줄링에서 성능과 내구성을 어떻게 향상시킬 수 있는가?

주요 결과

• 딥강화학습 및 이중학습을 포함한 강화학습 방법은 Flatland 환경에서 VRSP를 효과적으로 해결할 잠재력을 보이며, 지연 감소 효과가 뚜렷했다.
• NeurIPS 2020 Flatland 벤치마크는 RL 기반 솔루션이 기준 방법을 초월할 수 있음을 확인하였으며, 최고 성능 모델은 복잡하고 고밀도 시나리오에서 뛰어난 성능을 기록하였다.
• 2019년 Flatland 벤치마크에서 상위 성능을 기록한 여러 모델들이 SBB의 내부 스케줄링 시스템에 성공적으로 적용되어 솔루션의 전이 가능성은 검증되었다.
• Deutsche Bahn에서는 Flatland를 기반으로 한 프로토타입이 더 현실적인 시뮬레이션으로 확장되었으며, 이는 프레임워크가 산업 R&D 파이프라인에 실용적임을 시사한다.
• 연구는 일반화, 내구성, 확장성 측면에서 중요한 연구 격차를 규명하였으며, 기존 OR 기법에 대한 실질적인 대안으로서 RL의 활용 가능성을 높이기 위해 향후 연구가 필요함을 강조하였다.
• Flatland 환경는 단일선 구간, 스위치 구성, 고밀도 교통 부하와 같은 실세계 철도망의 핵심 과제를 효과적으로 반영하여 향후 연구를 위한 타당한 시험 환경로써 유용하다.