[논문 리뷰] Flatland Competition 2020: MAPF and MARL for Efficient Train Coordination on a Grid World

Florian Laurent, Manuel Schneider외 25명|arXiv (Cornell University)|2021. 03. 30.

Vehicle Routing Optimization Methods인용 수 7

한 줄 요약

이 논문은 다중 에이전트 강화학습(MARL)과 운영연구(OR) 기법을 사용하여 격자 세계 환경에서 효율적인 기차 조정을 평가한 Flatland Competition 2020을 제시한다. 그래프 기반 관측, 통신 및 우선순위 부여 메커니즘을 사용한 중심화된 및 분산형 MARL 방법을 비교하여, OR 기반 솔루션이 성능에서 뛰어나지만 효과적인 조율 메커니즘이 있는 MARL 기법도 강력한 잠재력을 보임을 보여준다.

ABSTRACT

The Flatland competition aimed at finding novel approaches to solve the vehicle re-scheduling problem (VRSP). The VRSP is concerned with scheduling trips in traffic networks and the re-scheduling of vehicles when disruptions occur, for example the breakdown of a vehicle. While solving the VRSP in various settings has been an active area in operations research (OR) for decades, the ever-growing complexity of modern railway networks makes dynamic real-time scheduling of traffic virtually impossible. Recently, multi-agent reinforcement learning (MARL) has successfully tackled challenging tasks where many agents need to be coordinated, such as multiplayer video games. However, the coordination of hundreds of agents in a real-life setting like a railway network remains challenging and the Flatland environment used for the competition models these real-world properties in a simplified manner. Submissions had to bring as many trains (agents) to their target stations in as little time as possible. While the best submissions were in the OR category, participants found many promising MARL approaches. Using both centralized and decentralized learning based approaches, top submissions used graph representations of the environment to construct tree-based observations. Further, different coordination mechanisms were implemented, such as communication and prioritization between agents. This paper presents the competition setup, four outstanding solutions to the competition, and a cross-comparison between them.

연구 동기 및 목표

• 스케일링 가능하고 실시간 조율 방법을 사용하여 복잡한 철도 네트워크에서의 동적 차량 재스케줄링 문제(VRSP)를 해결하기 위해.
• 대규모이고 부분 관측 가능한 격자 세계 환경에서 다중 에이전트 강화학습(MARL)과 전통적인 운영연구(OR) 기법의 효과를 평가하기 위해.
• 관측 설계, 통신 및 우선순위 부여 메커니즘이 다중 에이전트 경로 탐색(MAPF) 시나리오에서 MARL 성능에 미치는 영향을 조사하기 위해.
• 중앙집중적 훈련과 분산 실행(CTDE) 파라다임을 중앙집중적 계획 기법과 비교하여 확장성과 솔루션 품질 측면에서 평가하기 위해.
• 데드락 해결 및 장기적 계획 수립과 같은 과제를 포함하여, MARL을 실세계 교통 조율에 적용할 때의 주요 과제를 규명하기 위해.

제안 방법

• 기차 이동, 스위치 및 충돌을 포함한 실제 철도 네트워크 동역학을 모델링하는 단순화된 격자 세계 환경(Flatland)을 사용하였다.
• 특히 각 에이전트 주변의 트리 구조 관측을 통해 국소적 인식과 조율을 향상시키기 위해 그래프 기반 관측을 사용하였다.
• 중앙집중적 크리틱과 분산형 액터를 사용하여 조율과 확장성의 균형을 이루는 중심화된 및 분산형 MARL 훈련을 구현하였다.
• 경로 충돌을 해결하기 위해 전역 충돌 그래프 구축, 국소 통신 및 교통 신호 클러스터링과 같은 조율 메커니즘을 적용하였다.
• 예를 들어 출발 스케줄 기반의 히우리스틱 우선순위 부여 및 수작업으로 만든 특징을 통합하여 복잡한 시나리오에서 성능을 향상시켰다.
• 다양한 기차 수와 네트워크 복잡도를 가진 벤치마크 세트를 사용하여 솔루션을 평가하였으며, 완료 시간과 성공률을 측정하였다.

실험 결과

연구 질문

• RQ1 대규모 기차 조율에 있어서 중심화된 vs 분산형 MARL 접근 방식의 성능 및 확장성은 어떻게 비교되는가?
• RQ2 그래프 기반 및 트리 구조 관측은 부분 관측 가능한 환경에서 다중 에이전트 경로 탐색에 얼마나 효과적인가?
• RQ3 통신 메커니즘과 우선순위 전략은 MARL 기반 기차 스케줄링에서 충돌과 데드락을 줄이는데 얼마나 효과적인가?
• RQ4 복잡하고 동적인 철도 스케줄링 작업에서 RL 기반 조율 메커니즘은 수작업 히우리스틱을 초월하거나 보완할 수 있는가?
• RQ5 관측 설계와 특징 공학은 MARL을 통한 MAPF에서 장기적 계획 수립과 공간적 추론을 가능하게 하는 데 어떤 역할을 하는가?

주요 결과

• 운영연구(OR) 기반 솔루션, 특히 An_Old_Driver와 같은 중심집중적 우선순위 계획 기법이 완료 시간과 성공률 측면에서 모든 MARL 접근 방식을 압도적으로 뛰어넘었다.
• 중앙집중적 훈련과 분산 실행(CTDE)을 사용한 MARL 솔루션은 경쟁적인 성능을 달성하여 효과적인 조율 메커니즘이 부분 관측성의 한계를 상쇄시킬 수 있음을 보여주었다.
• 그래프 기반 및 트리 구조 관측은 국소적 인식과 조율을 크게 향상시켜 에이전트가 근처의 충돌과 경로 의존성을 이해하는 데 기여하였다.
• 수작업으로 만든 통신 메커니즘과 학습된 통신 메커니즘은 특히 충돌 빈도가 높은 고밀도 환경에서 조율을 향상시켰다.
• 충돌 그래프 기반 또는 스케줄 기반 우선순위 할당과 같은 우선순위 전략은 데드락 방지를 위해 필수적이며 솔루션의 안정성을 향상시켰다.
• 강력한 성능에도 불구하고 MARL 기법은 여전히 복잡하고 계단식 데드락에 약했으며, 향상된 장기적 계획 수립과 시간적 추론이 필요함을 시사했다.