[논문 리뷰] A Deep Ensemble Multi-Agent Reinforcement Learning Approach for Air Traffic Control

S. K. Ghosh, Sean Laguna외 3명|arXiv (Cornell University)|2020. 04. 03.

Air Traffic Management and Optimization참고 문헌 9인용 수 16

한 줄 요약

이 논문은 항공기의 속도를 동적으로 조정하여 실시간 항공교통통제를 최적화하기 위해 국소적 커널 기반 정책과 전역적 딥 MARL 정책(PPO)을 조합한 딥 앙상블 다중에이전트강화학습(MARL) 프레임워크를 제안한다. 이 방법은 최신 기준 성능을 크게 능가하여 중간 연료 비용 시나리오에서 기준선 대비 12.1%의 보상 향상을 달성했고, 저연료 비용 설정에서는 18.8% 향상을 기록하였다.

ABSTRACT

Air traffic control is an example of a highly challenging operational problem that is readily amenable to human expertise augmentation via decision support technologies. In this paper, we propose a new intelligent decision making framework that leverages multi-agent reinforcement learning (MARL) to dynamically suggest adjustments of aircraft speeds in real-time. The goal of the system is to enhance the ability of an air traffic controller to provide effective guidance to aircraft to avoid air traffic congestion, near-miss situations, and to improve arrival timeliness. We develop a novel deep ensemble MARL method that can concisely capture the complexity of the air traffic control problem by learning to efficiently arbitrate between the decisions of a local kernel-based RL model and a wider-reaching deep MARL model. The proposed method is trained and evaluated on an open-source air traffic management simulator developed by Eurocontrol. Extensive empirical results on a real-world dataset including thousands of aircraft demonstrate the feasibility of using multi-agent RL for the problem of en-route air traffic control and show that our proposed deep ensemble MARL method significantly outperforms three state-of-the-art benchmark approaches.

연구 동기 및 목표

• 증가하는 항공기 운항량으로 인해 점점 더 복잡해지는 항로 항공교통통제 문제를 해결하고 스마트 의사결정 지원 시스템의 필요성을 충족시키기 위해.
• 항공기 운항의 국소적 및 전역적 동적 특성을 효과적으로 포착하여 갈등 해결과 혼잡 완화에 기여하는 확장 가능하고 분산된 MARL 프레임워크를 개발하기 위해.
• 다중에이전트강화학습을 통해 협력 정책을 학습하여 도착 정시성 향상과 연료 비용 절감을 위해.
• 추론 중에 국소적 커널 기반 정책과 전역적 딥 MARL 정책 사이를 지능적으로 결정하는 앙상블 메커니즘을 설계하기 위해.
• 개방형 ATC 시뮬레이터를 사용하여 실제 세계 데이터를 기반으로 한 방법의 성능을 검증하고 기존 벤치마크를 초월하는 성능을 입증하기 위해.

제안 방법

• 각 항공기는 분산된 에이전트로 모델링되며, 협력 정책을 학습하기 위해 다중에이전트강화학습(MARL) 프레임워크를 사용한다.
• 커널 기반 방법(KBSF)은 에이전트 중심의 상태 표현을 사용하여 각 항공기의 구역 내 국소적 항공기 운항 조건을 포착한다.
• 프록실러 정책 최적화(PPO) 기반의 딥 MARL 모델은 전역적 혼잡도 및 갈등 패tern과 같은 광범위한 상태 정보를 처리한다.
• 앙상블 학습기는 현재 상태에 따라 커널 기반 정책와 딥 MARL 정책 사이에서 동적으로 선택을 하여 장기적 보상 최적화를 추구한다.
• 갈등 회피, 혼잡도 감소, 연료 비용, 도착 정시성 등 다양한 요소를 통합한 포괄적인 보상 함수를 사용하여 앙상블 정책을 종합적으로 훈련한다.
• 논문은 유로코어트롤의 개방형 항공교통관리 시뮬레이터를 사용하여 수천架의 항공기로 구성된 실제 세계 데이터셋을 기반으로 평가하였다.

실험 결과

연구 질문

• RQ1 딥 앙상블 MARL 접근법은 실시간 항공교통통제에서 국소적 및 전역적 의사결정을 효과적으로 균형 있게 조절할 수 있는가?
• RQ2 커널 기반 국소 정책과 딥 전역 MARL 정책을 조합함으로써 개별 모델 대비 성능 향상은 어느 정도 이루어지는가?
• RQ3 앙상블 방법은 항로 항공교통통제에서 갈등, 혼잡도, 지연 및 연료 비용을 어느 정도 감소시킬 수 있는가?
• RQ4 다양한 연료 비용 시나리오에서 제안된 방법은 PPO, 국소 검색, 이전 MARL 접근법을 포함한 최신 기준 성능을 모두 초월하는가?
• RQ5 앙상블 메커니즘은 정책 간 지능적인 결정을 학습하여 향상된 일반화 능력과 강건성을 달성할 수 있는가?

주요 결과

• 제안된 딥 앙상블 MARL 방법은 중간 연료 비용 시나리오에서 기준선 대비 평균 12.1%의 보상 향상을 달성했으며, DD-MARL(6.2%), 국소 검색(8.9%), PPO(7%), 커널 기반 방법(9.2%)을 크게 능가했다.
• 저연료 비용 시나리오에서는 기준선 대비 18.8% 향상을 기록했고, 커널 기반 방법의 18.3% 향상과 매우 유사했으며, 다양한 설정에서 강건성을 유지했다.
• 고연료 비용 시나리오에서는 기준선 대비 3.6%의 보상 향상을 달성했으며, PPO와 유사한 성능을 보였고, 국소 검색 방법(5.5% 향상)보다 뛰어났다.
• 앙상블 방법은 국소적 KBSF 정책과 전역적 PPO 정책의 강점을 효과적으로 활용하여 과도한 행동(예: 지속적인 속도 증가)에 대한 의존도를 줄이며 뛰어난 일반화 능력을 보였다.
• 제안된 방법은 Brittain과 Wei(2019)의 기준 벤치마크를 그들 자신의 단순화된 보상 함수(갈등 비용만 고려) 기준으로 17% 초월했다.
• 보상 곡선에서 더 좁은 표준오차 밴드를 보이며 안정적인 수렴을 보였고, 이는 다양한 운영 조건에서 강건성과 신뢰성의 증거로 볼 수 있다.