[論文レビュー] Autonomous Air Traffic Controller: A Deep Multi-Agent Reinforcement Learning Approach

Marc Brittain, Peng Wei|arXiv (Cornell University)|May 2, 2019

Air Traffic Management and Optimization参考文献 16被引用数 27

ひとこと要約

本論文は、高密度のルート飛行空域における自律型空中交通管制を目的として、DD-MARLと呼ばれる深層マルチエージェント強化学習フレームワークを提案する。中央集権的訓練・分散実行アプローチを採用し、安定性を向上させるためにPPO損失を組み込んだA2Cベースのアクタ・クリティックモデルを用いることで、極端な交通状況下において交差地点で99.97%、合流地点で100%の衝突回避を達成した。BlueSky環境を用いたシミュレーションにより、スケーラビリティと安全性が実証された。

ABSTRACT

Air traffic control is a real-time safety-critical decision making process in highly dynamic and stochastic environments. In today's aviation practice, a human air traffic controller monitors and directs many aircraft flying through its designated airspace sector. With the fast growing air traffic complexity in traditional (commercial airliners) and low-altitude (drones and eVTOL aircraft) airspace, an autonomous air traffic control system is needed to accommodate high density air traffic and ensure safe separation between aircraft. We propose a deep multi-agent reinforcement learning framework that is able to identify and resolve conflicts between aircraft in a high-density, stochastic, and dynamic en-route sector with multiple intersections and merging points. The proposed framework utilizes an actor-critic model, A2C that incorporates the loss function from Proximal Policy Optimization (PPO) to help stabilize the learning process. In addition we use a centralized learning, decentralized execution scheme where one neural network is learned and shared by all agents in the environment. We show that our framework is both scalable and efficient for large number of incoming aircraft to achieve extremely high traffic throughput with safety guarantee. We evaluate our model via extensive simulations in the BlueSky environment. Results show that our framework is able to resolve 99.97% and 100% of all conflicts both at intersections and merging points, respectively, in extreme high-density air traffic scenarios.

研究の動機と目的

• 高密度で動的かつ確率的なルート飛行空域を安全に管理できる自律型空中交通管制システムの開発を目的とする。
• 複数の航空機が不確実性のもとで集約する交差地点および合流地点における衝突回避の課題に対処することを目的とする。
• 各航空機が分散的に意思決定を行う一方で、中央集権的なポリシー・ネットワークを共有する、スケーラブルで効率的なフレームワークの設計を目的とする。
• 深層強化学習を用いて、複雑で高スループットな空域における人間管制官の置き換えの可能性を評価することを目的とする。
• 実際のオープンソース空中交通シミュレーション環境（BlueSky）において、マルチエージェントRLアプローチの有効性を実証することを目的とする。

提案手法

• 各航空機が個別のエージェントとしてモデル化される深層マルチエージェント強化学習の設定を採用する。
• 全エージェントに共通のニューラルネットワークを訓練する中央集権的訓練・分散実行（CTDE）方式を採用し、サンプル効率と安定性を向上させる。
• ポリシー・ネットワークは、A2Cアルゴリズムに基づくが、学習の安定性と収束性を向上させるためにPPO損失関数を組み合わせた。
• 状態観測には、自身の航空機（オーナーシップ）の位置・速度に加え、3番目に近い3機の隣接航空機の状態を含み、遠く離れたエージェントは除外して複雑性を低減する。
• 行動は離散的な速度アドバイス（例：速度を増加、減少、維持）であり、ルート上および合流地点での衝突を回避することを目的とする。
• 環境は、リアルな高精度なリアルタイム空域シナリオをサポートするBlueSky空中交通シミュレーションプラットフォームを用いてシミュレートする。

実験結果

リサーチクエスチョン

• RQ1 深層マルチエージェント強化学習フレームワークは、複数の交差地点および合流地点を有する高密度のルート飛行空域において、航空機間の衝突を効果的に解消できるか？
• RQ2 極端な交通密度および確率的条件下で、DD-MARLフレームワークの衝突回避率はどの程度の水準に達するか？
• RQ3 共有された中央集権的ニューラルネットワークの使用は、マルチエージェント空中交通管制設定における学習の安定性とスケーラビリティをどの程度向上させるか？
• RQ4 高い動的複雑性を示す複雑な合流シナリオにおいて、フレームワークはほぼ完璧な安全性（すなわち100%の衝突回避）を達成できるか？
• RQ5 現実的で大規模な空域シナリオにおいて、フレームワークはどの程度の速さで高性能なポリシーに収束するか？

主な発見

• ケーススタディ1では、29.99機の航空機が衝突なしにセクターを正常に離陸し、交差地点での衝突回避率が99.97%に達した。
• ケーススタディ2では、2つのルートを1つに合流させるシナリオにおいて、フレームワークは200回のテストエピソードにおける平均得点30、中央値30を達成し、100%の衝突回避率を達成した。
• 学習曲線から、ケーススタディ1では7,500エピソード以内にほぼ最適なポリシーに収束し、ケーススタディ2では2,000エピソード未満で収束していることが示され、効率的な学習が確認された。
• PPO正則化損失を組み込んだ共有ニューラルネットワークの使用により、学習の安定性が著しく向上し、多数のエージェントにわたるスケーラブルな学習が可能になった。
• 確率的環境においてもフレームワークは頑健性を示し、中央値性能に障害がなく、一貫性があり信頼性の高い意思決定が可能であった。
• 結果から、フレームワークは高スループットで、最小限の人的介入を伴いながら、複雑でリアルタイムかつ安全が求められる空中交通管制タスクを処理できる可能性を示している。