[論文レビュー] An Autonomous Free Airspace En-route Controller using Deep Reinforcement Learning Techniques

Joris Mollinga, Herke van Hoof|arXiv (Cornell University)|Jul 3, 2020

Autonomous Vehicle Technology and Safety参考文献 16被引用数 18

ひとこと要約

本稿では、変動する航空機数を伴う3次元非構造的空域において、衝突のない飛行経路を管理するためにグラフニューラルネットワークを用いた深層強化学習に基づく自律型空中交通管制システムを提案する。モデルは現実的な交通密度下で100%の衝突回避と89.8%の衝突防止を達成し、航空機の順序に依存しない強力なスケーラビリティと不変性を示した。

ABSTRACT

Air traffic control is becoming a more and more complex task due to the increasing number of aircraft. Current air traffic control methods are not suitable for managing this increased traffic. Autonomous air traffic control is deemed a promising alternative. In this paper an air traffic control model is presented that guides an arbitrary number of aircraft across a three-dimensional, unstructured airspace while avoiding conflicts and collisions. This is done utilizing the power of graph based deep learning approaches. These approaches offer significant advantages over current approaches to this task, such as invariance to the input ordering of aircraft and the ability to easily cope with a varying number of aircraft. Results acquired using these approaches show that the air traffic control model performs well on realistic traffic densities; it is capable of managing the airspace by avoiding 100% of potential collisions and preventing 89.8% of potential conflicts.

研究の動機と目的

• 航空機数の増加に伴う空中交通管制の複雑化に対処すること。
• 非構造的3次元空域における航路管制の自律的でスケーラブルなソリューションを開発すること。
• 入力順序に依存しないモデルを用いて、変動する航空機数においても衝突および衝突回避を実現すること。
• 従来の手法と比較して一般化性とスケーラビリティを向上させるために、グラフベースの深層学習を活用すること。
• シミュレーションベースの指標を用いて、現実的な交通密度下での性能を評価すること。

提案手法

• システムは、航空機状態を動的グラフ上のノードとして処理するためのグラフニューラルネットワーク（GNN）を採用し、空間的および関係的依存性を捉える。
• 状態-行動価値推定から最適な制御方策を学習するために、デュアルアーキテクチャを備えた深層Qネットワーク（DQN）が使用される。
• 入力表現は、航空機の相対的位置、速度、進行方向を符号化しており、置換不変性を実現する。
• 衝突回避および安全な分離のためのスパarsな報酬を用いて、深層強化学習によりモデルを訓練する。
• 行動空間には、衝突を解消するための離散的アクション（方位、高度、速度の調整）が含まれる。
• 現実的な交通パターンと動的変動する航空機数を伴う、シミュレーテッド3次元空域環境で訓練が実施された。

実験結果

リサーチクエスチョン

• RQ1 グラフベースの深層強化学習モデルは、3次元空域における任意の数の航空機に対して、効果的に衝突のないルーティングを管理できるか？
• RQ2 モデルは、変動する交通密度および航空機構成に対してどれほど一般化できるか？
• RQ3 現実的な条件下で、100%の衝突回避と高い衝突防止率を達成できるか、その程度はいかほどか？
• RQ4 順序付きまたはグリッドベースのモデルと比較して、グラフネットワークの使用がロバストネスと不変性を向上させるか？
• RQ5 運用上の実装に際して、スケーラビリティおよびリアルタイム実行可能性の観点から、モデルの性能はどの程度か？

主な発見

• 全テスト交通シナリオにおいて100%の衝突回避を達成し、衝突解消における完全な安全性を示した。
• 現実的な交通密度下で、潜在的衝突の89.8%を防止した。これはベースライン手法を著しく上回った。
• グラフベースのアーキテクチャは、航空機入力の順序に依存しない不変性を示し、入力順序に関係なく一貫した性能を発揮した。
• 再訓練なしに変動する航空機数を効果的に管理でき、優れた一般化性とスケーラビリティを示した。
• 高密度および複雑な遭遇構成を含む多様な交通パターンにおいても、高い性能を維持した。
• 結果から、グラフニューラルネットワークを用いた深層強化学習は、自律的航路管制の実用的で堅牢なアプローチであると示唆された。