[논문 리뷰] A Deep Multi-Agent Reinforcement Learning Approach to Autonomous Separation Assurance

Marc Brittain, Xuxi Yang외 1명|arXiv (Cornell University)|2020. 03. 17.

Software Reliability and Analysis Research참고 문헌 40인용 수 26

한 줄 요약

이 논문은 주목적 기반 보완 정책 최적화(Proximal Policy Optimization)를 통합한 주목적 기반 강화학습 프레임워크인 D2MAV-A를 제안한다. 이 프레임워크는 고밀도, 동적 항로에서 항공기의 자율적 간격 확보를 가능하게 하며, 주목적 기반 강화학습을 통해 더 빠른 학습, 감소된 속도 변화 및 향상된 확장성을 달성한다. 특히 복잡하고 변화하는 교통 환경에서 이전 방법들을 크게 능가한다.

ABSTRACT

A novel deep multi-agent reinforcement learning framework is proposed to identify and resolve conflicts among a variable number of aircraft in a high-density, stochastic, and dynamic sector. Currently the sector capacity is constrained by human air traffic controller's cognitive limitation. We investigate the feasibility of a new concept (autonomous separation assurance) and a new approach to push the sector capacity above human cognitive limitation. We propose the concept of using distributed vehicle autonomy to ensure separation, instead of a centralized sector air traffic controller. Our proposed framework utilizes Proximal Policy Optimization (PPO) that we modify to incorporate an attention network. This allows the agents to have access to variable aircraft information in the sector in a scalable, efficient approach to achieve high traffic throughput under uncertainty. Agents are trained using a centralized learning, decentralized execution scheme where one neural network is learned and shared by all agents. The proposed framework is validated on three challenging case studies in the BlueSky air traffic control environment. Numerical results show the proposed framework significantly reduces offline training time, increases performance, and results in a more efficient policy.

연구 동기 및 목표

• 고밀도 천공에서 인간의 항공 교통 관리자들이 겪는 한계를 해결하기 위해, 탑재된 인공지능을 활용한 자율 간격 확보 기능을 제공한다.
• 변동하는 항공기 수와 동적 교통 조건을 처리할 수 있는 확장성 있고 실시간 결정 기반 시스템을 설계한다.
• 속도 조정을 최소화하면서도 간격을 유지함으로써 비행 중 및 접근 항로 영역의 효율성과 안전성을 향상시킨다.
• 블루스카이 항공 교통 시뮬레이션 환경을 사용하여, 복잡하고 확률적인 시나리오에서 프레임워크를 검증한다.
• 다양한 교통 구성 조건 간의 수렴 속도 향상을 위해 전이 학습을 탐색한다.

제안 방법

• 모든 항공기 에이전트 간에 공유된 신경망 정책을 사용하는 중심집중형 학습, 분산실행 방식을 채택한다.
• 변동하는 길이의 교통 정보를 고정 길이의 컨텍스트 벡터로 인코딩하기 위해 주목적 메커니즘을 통합하여, 동적 교통 처리의 확장성을 보장한다.
• 충돌에 대한 징벌과 최소한의 속도 변화에 대한 보상을 부여하는 새로운 보상 함수를 설계하여, Proximal Policy Optimization(PPO)를 적용한다.
• 학습은 블루스카이 항공 교통 시뮬레이션 환경에서 수행되며, 병렬 학습을 지원하기 위해 확장된 환경을 사용한다.
• 전이 학습은 간단한 사례 연구(C)에서 정책을 초기화한 후, 더 복잡한 통합 시나리오(D)에서 학습을 수행함으로써 적용된다.
• 다양한 환경을 병렬로 사용하여 정책 학습을 가속화하고 샘플 효율성을 향상시킨다.

실험 결과

연구 질문

• RQ1 주목적 기반 강화학습 프레임워크에 주목적 네트워크를 통합함으로써 고밀도, 변동하는 교통 조건에서 자율 간격 확보를 효과적으로 관리할 수 있는가?
• RQ2 주목적 네트워크의 통합이 비주목적 기반 기준 대비 확장성과 성능 향상에 어떤 영향을 미치는가?
• RQ3 복잡하고 다중 구성 조건이 혼합된 항공 교통 환경에서 전이 학습이 학습 시간 단축과 수렴 성능 향상에 얼마나 기여하는가?
• RQ4 제안된 프레임워크는 충돌 없는 간격 유지 조건을 유지하면서도 속도 조정 횟수를 크게 감소시킬 수 있는가?
• RQ5 공유 정책 아키텍처는 다양한 항공기 수와 항로 구성 조건에서 어떻게 성능를 발휘하는가?

주요 결과

• D2MAV-A 프레임워크는 복잡한 시나리오에서 기존 D2MAV 프레임워크 대비 오프라인 학습 시간을 단축하고 수렴 속도를 향상시켰다.
• D2MAV 기준 대비 속도 조정 행동 수를 30% 감소시켜, 제어 간섭 횟수가 적은 더 효율적인 정책을 달성했다.
• 전이 학습을 통해 사례 연구 D의 수렴에 필요한 에피소드 수를 기존 학습(초기화 없이)의 37,172회에서 908회로 감소시켜 학습 단계 수를 97.6% 감소시켰다.
• 전이 학습을 통해 학습된 정책는 초기에 환경 변화에 적응하면서 약간의 성능 저하가 있었지만, 빠르게 높은 성능을 확보했다.
• 주목적 메커니즘은 모델 복잡도 증가 없이도 변동하는 항공기 수와 교차점 처리에 효과적으로 대응할 수 있었다.
• 다양한 교통 구성 조건, 다중 사례 연구를 통합한 복합 시나리오를 포함하여 프레임워크는 뛰어난 강건성과 일반화 능력을 입증했다.