[논문 리뷰] A Survey on Reinforcement Learning in Aviation Applications

Pouria Razzaghi, Amin Tabrizian외 7명|arXiv (Cornell University)|2022. 11. 03.

Air Traffic Management and Optimization인용 수 22

한 줄 요약

항공 분야에서의 강화학습 방법과 그 응용에 대한 포괄적 설문으로, 표준 RL 공식화, 모델 기반 대 모델-프리 접근법, 액터-크리틱 및 MARL, 그리고 충돌 방지, ATFM, ARM, 비행 제어와 같은 선택된 항공 응용 사례를 다룹니다.

ABSTRACT

Compared with model-based control and optimization methods, reinforcement learning (RL) provides a data-driven, learning-based framework to formulate and solve sequential decision-making problems. The RL framework has become promising due to largely improved data availability and computing power in the aviation industry. Many aviation-based applications can be formulated or treated as sequential decision-making problems. Some of them are offline planning problems, while others need to be solved online and are safety-critical. In this survey paper, we first describe standard RL formulations and solutions. Then we survey the landscape of existing RL-based applications in aviation. Finally, we summarize the paper, identify the technical gaps, and suggest future directions of RL research in aviation.

연구 동기 및 목표

• 항공 맥락에서 RL 문제 공식화와 핵심 개념을 설명한다.
• 모델-프리 RL 방법들(값 기반, 정책 기반, 액터-크리틱)과 그 확장을 조사한다.
• 다중 에이전트 RL과 그것의 항공 응용에 대한 관련성을 논의한다.
• 충돌 방지, 항공 교통 흐름 관리(ATFM), 수익 관리(revenue management), 비행 제어와 같은 항공 도메인에서 선택된 RL 응용 사례를 검토한다.
• 항공 분야에서 RL 연구의 격차를 식별하고 향후 방향을 제시한다.

제안 방법

• MDP를 사용한 표준 RL 공식화를 제시하고 모델-기반 대 모델-프리 접근법을 논의한다.
• 값 기반 방법들(Q-러닝, DQN 및 변형들)과 그 심층 확장을 설명한다.
• 정책 기반 방법들(REINFORCE, DPG, DDPG, PPO, TRPO)과 액터-크리틱 하이브리드를 설명한다.
• 다중 에이전트 RL(MARL) 프레임워크와 중앙집중형/분산 학습 패러다임을 개괄한다.
• 예시 연구와 접근법을 포함한 항공 분야의 RL 응용 분류 체계를 검토한다.

실험 결과

연구 질문

• RQ1 항공 연쇄적 의사결정 문제에 가장 적합한 RL 공식화와 알고리즘은 무엇인가?
• RQ2 모델-기반, 모델-프리, 그리고 액터-크리틱 방법이 항공 도메인에 어떻게 적용되어 왔는가?
• RQ3 항공 맥락에서 MARL의 역할과 효율성은 무엇인가?
• RQ4 현실 세계의 RL 도입을 방해하는 주요 도전과제(검증, 시뮬레이션-현실 간 간극, 샘플 효율성, 설명가능성)는 무엇인가?
• RQ5 항공 응용을 위한 RL 연구를 진전시킬 미래 방향은 무엇인가?

주요 결과

• RL은 항공의 연쇄적 의사결정 문제에 대한 데이터 기반 프레임워크를 제공하며, 안전이 중요한 온라인 의사결정을 포함한다.
• 값 기반, 정책 기반, 액터-크리틱, MARL 등 다양한 RL 방법이 항공 작업에 대해 탐구되었다.
• 충돌 방지, ATFM, ARM, 비행 제어는 다양한 알고리즘 선택(DQN, PPO, DDPG, MADDPG, SAC)을 가진 활발한 RL 응용 영역이다.
• 도전과제로는 모델 검증, 시뮬레이션-현실 간 차이, 샘플 효율성, DRL 기반 제어기의 설명가능성이 포함된다.
• 본 조사는 실제 항공 배치에 대한 형식적 검증과 유연하고 견고한 RL 솔루션의 필요성을 강조한다.