[논문 리뷰] Resolving Congestions in the Air Traffic Management Domain via Multiagent Reinforcement Learning Methods

Theocharis Kravaris, Christos Spatharis외 6명|arXiv (Cornell University)|2019. 12. 14.

Air Traffic Management and Optimization참고 문헌 29인용 수 6

한 줄 요약

이 논문은 항공교통관리의 전전략 단계에서 지상 지연를 최적화하여 항공기 혼잡을 해결하기 위해 다중에이전트 강화학습(MARL) 프레임워크를 제안한다. 핫스팟 참여도와 지연 비용을 고려한 새로운 보상 함수를 적용한 협업형 MARL 접근법을 통해 전체 지연을 줄이고 비행기 간에 공정하게 지연을 분배하면서도 기존 수동 방법보다 실제 스페인 사례에서 우수한 성능을 보였다.

ABSTRACT

In this article, we report on the efficiency and effectiveness of multiagent reinforcement learning methods (MARL) for the computation of flight delays to resolve congestion problems in the Air Traffic Management (ATM) domain. Specifically, we aim to resolve cases where demand of airspace use exceeds capacity (demand-capacity problems), via imposing ground delays to flights at the pre-tactical stage of operations (i.e. few days to few hours before operation). Casting this into the multiagent domain, agents, representing flights, need to decide on own delays w.r.t. own preferences, having no information about others' payoffs, preferences and constraints, while they plan to execute their trajectories jointly with others, adhering to operational constraints. Specifically, we formalize the problem as a multiagent Markov Decision Process (MA-MDP) and we show that it can be considered as a Markov game in which interacting agents need to reach an equilibrium: What makes the problem more interesting is the dynamic setting in which agents operate, which is also due to the unforeseen, emergent effects of their decisions in the whole system. We propose collaborative multiagent reinforcement learning methods to resolve demand-capacity imbalances: Extensive experimental study on real-world cases, shows the potential of the proposed approaches in resolving problems, while advanced visualizations provide detailed views towards understanding the quality of solutions provided.

연구 동기 및 목표

• 공역 용량을 초월하는 수요 증가로 인한 항공기 혼잡 문제의 증가에 대응하며, 특히 비행 1일에서 수시간 전의 전전략 단계에서의 문제 해결
• 전체 지연량을 최소화하면서도 비행기 간 공정한 분배와 효율적인 공역 이용을 보장
• 비행기(자율 에이전트)들이 다른 비행기의 선호도나 보상에 대한 지식 없이 지연 결정을 내릴 수 있는 협업 메커니즘 개발
• 수요-용량 불균형 문제를 다중에이전트 마르코프 결정 과정(MA-MDP) 및 마르코프 게임으로 수식화하여 지연 결정의 평형에 도달
• 스페인의 실제 ATM 데이터를 기반으로 제안된 MARL 방법의 효율성과 해의 품질 평가

제안 방법

• 각 비행기가 에이전트가 되는 다중에이전트 마르코프 결정 과정(MA-MDP)으로 수요-용량 불균형 문제를 수식화
• 에이전트가 핫스팟에 기여하는 정도와 지연 편차의 전략적 비용에 기반해 보상을 부과하는 새로운 보편적 보상 함수 설계
• 협업형 MARL 방법 두 가지를 구현: 예측 지연 최소화 기반 Ed-MARL과 역강화학습을 활용한 정책 학습 기반 IRL-MARL
• 실제 비행 데이터, 섹터 구성, 운영 기록에서 확보한 지연 비용 기준을 활용해 스페인의 여러 날 동안 24시간 단위로 평가
• 지연 분포와 해의 품질 분석을 위해 고도화된 시각화 기법(공간, 시간, 시공간 맵) 적용
• 지연 분포, 지연된 비행기 수, 핫스팟 해결 정도 측면에서 기존 수동 방법(NM)과의 비교 수행

실험 결과

연구 질문

• RQ1 중앙 집중적 조율 없이도 다중에이전트 강화학습(MARL) 방법이 전전략 단계에서 수요-용량 불균형 문제를 효과적으로 해결할 수 있는가?
• RQ2 MARL 기반 지연 결정은 기존 수동 방법 대비 공정성, 총 지연량, 핫스팟 해결 정도 측면에서 어떻게 비교되는가?
• RQ3 MARL 해법은 전체 시스템 효율성을 유지하면서도 대규모 지연을 받는 비행기 수를 얼마나 줄일 수 있는가?
• RQ4 분산형 지연 결정에서 유도되는 탄생하는 시스템 수준의 영향은 전체 혼잡도와 지연 분포에 어떻게 영향을 미치는가?
• RQ5 시공간 지연 패턴의 시각적 분석은 MARL 해법의 논리적 근거를 설명하고 향상시키는 데 기여할 수 있는가?

주요 결과

• Ed-MARL 및 IRL-MARL 방법은 기존 수동 방법(NM)에 비해 특히 오전 첫 번째 반기 동안 대규모 지연을 받는 비행기 수를 크게 감소시켰다.
• 양방향 MARL 방법 모두 모든 지연 간격에서 규제 대상 비행기 수를 줄였으며, Ed-MARL은 지연을 받는 비행기 수가 더 적었다.
• 가장 복잡한 사례(7월 2일)에서 MARL 방법은 스페인 동부 및 남부 지역(바르셀로나, 발레아도르, 세비야 등)의 지연을 줄였지만, 북서부 지역에서는 용량 초과로 인해 지연이 증가했다.
• 에이전트들은 필요할 때만 지연을 늘려 핫스팟을 효과적으로 해결했으며, 특히 수요가 높고 용량 초과가 발생하는 시간대와 지역에서 집중적이고 적응형으로 반응함을 보였다.
• 시각화 분석 결과, MARL 해법은 특히 동적인 고수요 기간 동안 예측 가능성과 공정성을 향상시켰으며, 일부 비행기에 불필요한 지연을 주지 않으면서도 혼잡을 효과적으로 관리함을 확인했다.
• 제안된 보상 함수는 개인의 지연 비용과 시스템 수준의 핫스팟 해결 간 균형을 성공적으로 유지하여, 전체 정보 교환 없이도 효율적인 협업을 가능케 하였다.