[論文レビュー] A Deep Multi-Agent Reinforcement Learning Approach to Autonomous Separation Assurance

Marc Brittain, Xuxi Yang+1 more|arXiv (Cornell University)|Mar 17, 2020

Software Reliability and Analysis Research参考文献 40被引用数 26

ひとこと要約

本論文は、注意機構を組み込んだProximal Policy Optimizationを用いて、高密度で動的なセクタにおける航空交通の自律的分離確保を可能にする、深層マルチエージェント強化学習フレームワークD2MAV-Aを提案する。エージェント間で共有ポリシーを学習することにより、訓練速度の向上、速度変更の低減、スケーラビリティの向上を実現し、複雑で変動する交通状況において、従来手法を著しく上回る性能を発揮する。

ABSTRACT

A novel deep multi-agent reinforcement learning framework is proposed to identify and resolve conflicts among a variable number of aircraft in a high-density, stochastic, and dynamic sector. Currently the sector capacity is constrained by human air traffic controller's cognitive limitation. We investigate the feasibility of a new concept (autonomous separation assurance) and a new approach to push the sector capacity above human cognitive limitation. We propose the concept of using distributed vehicle autonomy to ensure separation, instead of a centralized sector air traffic controller. Our proposed framework utilizes Proximal Policy Optimization (PPO) that we modify to incorporate an attention network. This allows the agents to have access to variable aircraft information in the sector in a scalable, efficient approach to achieve high traffic throughput under uncertainty. Agents are trained using a centralized learning, decentralized execution scheme where one neural network is learned and shared by all agents. The proposed framework is validated on three challenging case studies in the BlueSky air traffic control environment. Numerical results show the proposed framework significantly reduces offline training time, increases performance, and results in a more efficient policy.

研究の動機と目的

• 高密度空域における人間の航空交通管制官の限界を克服し、搭載AIを用いた自律的分離確保を可能にすること。
• 変動する航空機数と動的な交通状態に対応できるスケーラブルでリアルタイムの意思決定システムを設計すること。
• 速度調整を最小限に抑えつつ分離を維持することで、航路およびターミナル空域における効率性と安全性を向上させること。
• ブルースカイ航空交通シミュレーション環境を用いて、複雑で確率的なシナリオでのフレームワークの妥当性を検証すること。
• 多様な交通構成にわたる高速収束を実現するための転移学習の可能性を検討すること。

提案手法

• すべての航空機エージェントに共通のニューラルネットワークポリシーを備えた、集中学習・分散実行方式を採用する。
• 可変長の交通情報（航空機数）を固定長のコンテキストベクトルに変換するための注目メカニズムを統合し、動的な交通状況のスケーラブルな処理を可能にする。
• 衝突をペナルティ化し、最小限の速度変更を報酬化するように、新たに設計された報酬関数を用いたProximal Policy Optimization（PPO）を採用する。
• 強化学習のサポートを備えた拡張版ブルースカイシミュレーション環境で訓練を実施する。
• 転移学習として、より単純な事例（C）でポリシーを初期化した後、より複雑な統合シナリオ（D）で学習を実施する。
• 複数の環境を並列して用いることで、ポリシー学習を加速し、サンプル効率を向上させる。

実験結果

リサーチクエスチョン

• RQ1 注意機構を備えた深層マルチエージェント強化学習フレームワークは、高密度で交通状況が変動する航空交通環境において、自律的分離を効果的に管理できるか？
• RQ2 注目ネットワークの導入により、非注目ベースラインと比較して、スケーラビリティと性能がどのように向上するか？
• RQ3 転移学習は、複雑で多様な構成の航空交通環境において、訓練時間の短縮と収束の改善にどの程度寄与するか？
• RQ4 提案フレームワークは、衝突のない分離を維持しながら、速度調整の回数を著しく削減できるか？
• RQ5 共有ポリシーアーキテクチャは、航空機数やセクタ構成の変動に対して、どのように性能を発揮するか？

主な発見

• D2MAV-Aフレームワークは、特に複雑なシナリオにおいて、従来のD2MAVフレームワークと比較してオフライン訓練時間を短縮し、収束が著しく速くなった。
• D2MAVベースラインと比較して、速度変更アクションの回数を30％削減した。これは、制御干渉が少ないより効率的なポリシーを示している。
• 転移学習により、事例Dにおける収束までのエピソード数を、初期化から学習した場合の37,172回から908回にまで削減し、訓練ステップ数を97.6％も削減した。
• 転移学習で学習したポリシーは、初期段階から高い性能を発揮し、新しい環境への適応に伴うわずかな性能低下しか示さなかった。
• 注目メカニズムにより、航空機数や交差点の変動に対しても、モデルの複雑さを増さずに効果的な処理が可能になった。
• 複数の事例を統合した複雑なシナリオを含め、多様な交通構成に対して、フレームワークは高いロバストネスと一般化性能を示した。