[논문 리뷰] An Autonomous Free Airspace En-route Controller using Deep Reinforcement Learning Techniques

Joris Mollinga, Herke van Hoof|arXiv (Cornell University)|2020. 07. 03.

Autonomous Vehicle Technology and Safety참고 문헌 16인용 수 18

한 줄 요약

이 논문은 변수 수의 항공기로 구성된 3차원 비정형 항공역에서 충돌 없는 비행 경로를 관리하기 위해 그래프 신경망을 사용하는 딥 강화학습 기반 자율 항공교통통제 시스템을 제안한다. 모델은 현실적인 항공기 밀도 조건에서 100% 충돌 회피 및 89.8% 충돌 방지 성능을 달성하여 뛰어난 확장성과 항공기 순서에 대한 불변성을 입증한다.

ABSTRACT

Air traffic control is becoming a more and more complex task due to the increasing number of aircraft. Current air traffic control methods are not suitable for managing this increased traffic. Autonomous air traffic control is deemed a promising alternative. In this paper an air traffic control model is presented that guides an arbitrary number of aircraft across a three-dimensional, unstructured airspace while avoiding conflicts and collisions. This is done utilizing the power of graph based deep learning approaches. These approaches offer significant advantages over current approaches to this task, such as invariance to the input ordering of aircraft and the ability to easily cope with a varying number of aircraft. Results acquired using these approaches show that the air traffic control model performs well on realistic traffic densities; it is capable of managing the airspace by avoiding 100% of potential collisions and preventing 89.8% of potential conflicts.

연구 동기 및 목표

• 증가하는 항공기 수로 인한 항공교통통제의 복잡성 증가 문제를 해결하기 위해.
• 비정형 3차원 항공역에서의 비행 중 항공교통통제를 위한 자율적이고 확장 가능한 솔루션을 개발하기 위해.
• 순서에 영향을 받지 않는 모델을 활용해 다양한 수의 항공기에서 충돌 및 충돌 회피를 가능하게 하기 위해.
• 전통적 방법에 비해 일반화 및 확장성 향상을 위해 그래프 기반 딥 러닝을 활용하기 위해.
• 시뮬레이션 기반 메트릭을 사용해 현실적인 항공기 밀도 조건에서 성능을 평가하기 위해.

제안 방법

• 시스템은 항공기 상태를 동적 그래프의 노드로 처리하기 위해 그래프 신경망(GNNs)을 활용하여 공간적 및 상관관계적 의존성을 포착한다.
• 상태-행동 가치 추정에서 최적의 제어 정책을 학습하기 위해 듀얼 아키텍처를 가진 딥 Q-네트워크(DQN)를 사용한다.
• 입력 표현은 항공기의 상대적 위치, 속도 및 헤딩을 인코딩하여 순열 불변성을 보장한다.
• 충돌 회피 및 안전한 간격 확보를 위한 희박한 보상 구조를 사용하여 딥 강화학습을 통해 모델을 훈련시킨다.
• 행동 공간에는 충돌을 해결하기 위한 이산적 조작, 예를 들어 헤딩, 고도 및 속도 조절이 포함된다.
• 실제 항공기 패턴과 동적 항공기 수를 반영한 시뮬레이션된 3차원 항공역 환경에서 훈련을 수행한다.

실험 결과

연구 질문

• RQ1 그래프 기반 딥 강화학습 모델은 3차원 항공역에서 임의의 수의 항공기에게 대해 효과적으로 충돌 없는 경로를 관리할 수 있는가?
• RQ2 모델은 다양한 항공기 밀도 및 항공기 구성 조건에서 얼마나 잘 일반화되는가?
• RQ3 실제 조건에서 100% 충돌 회피 및 높은 수준의 충돌 방지를 얼마나 달성할 수 있는가?
• RQ4 그래프 네트워크의 사용이 순차적 또는 격자 기반 모델 대비 강건성과 불변성을 향상시키는가?
• RQ5 운영적 구현을 고려할 때 확장성 및 실시간 실행 가능성 측면에서 모델의 성능은 어떠한가?

주요 결과

• 모델은 모든 테스트 항공기 밀도 시나리오에서 100% 충돌 회피를 달성하여 충돌 해결의 완전한 안전성을 입증했다.
• 실제 항공기 밀도 조건에서 잠재적 충돌의 89.8%를 방지하여 기준선 방법보다 뚜렷이 뛰어난 성능을 보였다.
• 그래프 기반 아키텍처는 항공기 입력 순서에 대해 불변성을 보였으며, 입력 순서에 관계없이 일관된 성능을 유지함을 입증했다.
• 재훈련 없이도 다양한 수의 항공기를 효과적으로 관리하여 강력한 일반화 및 확장성 능력을 입증했다.
• 고밀도 및 복잡한 만남 구성 등 다양한 항공기 패턴에서도 높은 성능 유지를 유지했다.
• 결과적으로 딥 강화학습에 그래프 신경망을 적용한 접근 방식이 자율 항공역 비행 중 항공교통통제에 실현 가능하고 강건한 방법임을 시사한다.