[논문 리뷰] Autonomous Air Traffic Controller: A Deep Multi-Agent Reinforcement Learning Approach

Marc Brittain, Peng Wei|arXiv (Cornell University)|2019. 05. 02.

Air Traffic Management and Optimization참고 문헌 16인용 수 27

한 줄 요약

이 논문은 고밀도 항로 영역에서 자율적인 항공교통통제를 위한 딥 다중에이전트 강화학습 프레임워크인 DD-MARL을 제안한다. 중심화된 훈련, 분산 실행 방식을 사용하며, 안정성을 향상시키기 위해 PPO 손실을 통합한 A2C 기반의 액터-크리틱 모델을 활용하여, 극한의 항공기 밀도 상황에서도 교차로에서 99.97%의 충돌 해소율과 융합 지점에서 100%의 충돌 해소율을 달성하였다. 이는 BlueSky 환경을 사용한 시뮬레이션에서의 확장성과 안전성의 가능성을 입증한다.

ABSTRACT

Air traffic control is a real-time safety-critical decision making process in highly dynamic and stochastic environments. In today's aviation practice, a human air traffic controller monitors and directs many aircraft flying through its designated airspace sector. With the fast growing air traffic complexity in traditional (commercial airliners) and low-altitude (drones and eVTOL aircraft) airspace, an autonomous air traffic control system is needed to accommodate high density air traffic and ensure safe separation between aircraft. We propose a deep multi-agent reinforcement learning framework that is able to identify and resolve conflicts between aircraft in a high-density, stochastic, and dynamic en-route sector with multiple intersections and merging points. The proposed framework utilizes an actor-critic model, A2C that incorporates the loss function from Proximal Policy Optimization (PPO) to help stabilize the learning process. In addition we use a centralized learning, decentralized execution scheme where one neural network is learned and shared by all agents in the environment. We show that our framework is both scalable and efficient for large number of incoming aircraft to achieve extremely high traffic throughput with safety guarantee. We evaluate our model via extensive simulations in the BlueSky environment. Results show that our framework is able to resolve 99.97% and 100% of all conflicts both at intersections and merging points, respectively, in extreme high-density air traffic scenarios.

연구 동기 및 목표

• 안정성 보장을 갖춘 고밀도, 동적이고 확률적인 항로 영역을 관리할 수 있는 자율 항공교통통제 시스템을 개발하는 것.
• 불확실성 하에서 다수의 항공기가 집합하는 교차로 및 융합 지점에서의 충돌 해소 과제를 해결하는 것.
• 각 항공기의 실시간 분산 결정을 가능하게 하면서도 중심화된 정책 네트워크를 공유하는 확장성 있고 효율적인 프레임워크를 설계하는 것.
• 딥 강화학습을 활용하여 복잡하고 고처리량의 항공역에서 인간 통제자를 대체할 수 있는지의 타당성을 평가하는 것.
• 실제로 개방된 소스 항공교통 시뮬레이션 환경(BlueSky)에서 다중에이전트 강화학습 접근법의 효과성을 입증하는 것.

제안 방법

• 각 항공기는 독립된 에이전트로 모델링되는 딥 다중에이전트 강화학습 설정을 사용한다.
• 모든 에이전트를 위해 단일 공유 신경망을 훈련하는 중심화된 훈련, 분산 실행(CTDE) 기법을 적용하여 샘플 효율성과 안정성을 향상시킨다.
• 정책 네트워크는 안정성 향상과 수렴성 향상을 위해 PPO 손실 함수를 통합한 악티브리티 액터-크리틱(A2C) 알고리즘에 기반한다.
• 상태 관측치에는 자기 항공기의 위치, 속도 및 가장 가까운 세 대의 인접 항공기 상태가 포함되며, 먼 에이전트는 제외하여 복잡성을 줄인다.
• 행동는 이격, 감속, 속도 유지와 같은 이산적인 속도 조언으로 구성되어 경로 및 융합 지점에서의 충돌을 방지한다.
• 환경은 고해상도, 실시간, 현실적인 항공기 시뮬레이션 시나리오를 지원하는 BlueSky 항공교통 시뮬레이션 플랫폼을 사용해 시뮬레이션된다.

실험 결과

연구 질문

• RQ1 딥 다중에이전트 강화학습 프레임워크는 다수의 교차로와 융합 지점을 포함한 고밀도 항로 영역에서 항공기 간의 충돌을 효과적으로 해소할 수 있는가?
• RQ2 극한의 항공기 밀도와 확률적 조건 하에서 DD-MARL 프레임워크의 충돌 해소율은 어느 정도 성능을 보이는가?
• RQ3 공유된 중심화된 신경망의 사용이 다중에이전트 항공교통통제 환경에서 훈련 안정성과 확장성에 얼마나 기여하는가?
• RQ4 고도로 동적인 복잡한 융합 시나리오에서 프레임워크가 거의 완벽한 안전성 성능(즉, 100% 충돌 해소)을 달성할 수 있는가?
• RQ5 실제로 큰 규모의 항공교통 시나리오에서 프레임워크는 얼마나 빨리 고성능 정책으로 수렴하는가?

주요 결과

• 사례 연구 1에서 DD-MARL 프레임워크는 30架 항공기 중 평균 29.99架가 충돌 없이 구역을 통과하여 교차로에서 99.97%의 충돌 해소율을 달성하였다.
• 두 경로를 하나로 융합하는 사례 연구 2에서는 200개의 테스트 에피소드 동안 평균 점수 30과 중앙값 30을 기록하여 완벽한 100% 충돌 해소율을 달성하였다.
• 학습 곡선은 사례 연구 1에서는 7,500 에피소드 내에 거의 최적의 정책으로 수렴하고, 사례 연구 2에서는 2,000 에피소드 이내에 수렴함을 보여, 효율적인 학습을 확인하였다.
• PPO 정규화 손실을 통합한 공유 신경망 사용은 훈련 안정성을 크게 향상시키고 대규모 에이전트 간의 확장 가능한 학습을 가능하게 하였다.
• 확률적 환경에서도 프레임워크는 중앙값 성능에서 실패 없이 뚜렷한 안정성과 신뢰성 있는 의사결정을 보였다.
• 결과적으로 프레임워크는 고처리량과 최소한의 인간 간섭으로도 복잡하고 실시간, 안전이 중요한 항공교통통제 과제를 수행할 수 있음을 시사한다.