[論文レビュー] A 3D Game Theoretical Framework for the Evaluation of Unmanned Aircraft Systems Airspace Integration Concepts

Negin Musavi, Ayman Manzoor+1 more|arXiv (Cornell University)|Feb 20, 2018

Aerospace and Aviation Technology参考文献 40被引用数 3

ひとこと要約

本論文は、動的レベル-k推論とニューラルフィットドQラーニングを用いて動的かつ人間のパイロットの意思決定をモデル化する3次元ゲーム理論的シミュレーションフレームワークを提案する。このフレームワークは、UASのNAS統合を評価することを目的としている。結果として、有人機とUASの間で衝突回避責任を共有することで、分離違反が最小限に抑えられ、性能が最適化され、一方で責任が1つのプラットフォームに一任される状況よりも優れた結果が得られたことが示された。

ABSTRACT

Predicting the outcomes of integrating Unmanned Aerial Systems (UAS) into the National Airspace System (NAS) is a complex problem which is required to be addressed by simulation studies before allowing the routine access of UAS into the NAS. This paper focuses on providing a 3-dimensional (3D) simulation framework using a game theoretical methodology to evaluate integration concepts using scenarios where manned and unmanned air vehicles co-exist. In the proposed method, human pilot interactive decision making process is incorporated into airspace models which can fill the gap in the literature where the pilot behavior is generally assumed to be known a priori. The proposed human pilot behavior is modeled using dynamic level-k reasoning concept and approximate reinforcement learning. The level-k reasoning concept is a notion in game theory and is based on the assumption that humans have various levels of decision making. In the conventional "static" approach, each agent makes assumptions about his or her opponents and chooses his or her actions accordingly. On the other hand, in the dynamic level-k reasoning, agents can update their beliefs about their opponents and revise their level-k rule. In this study, Neural Fitted Q Iteration, which is an approximate reinforcement learning method, is used to model time-extended decisions of pilots with 3D maneuvers. An analysis of UAS integration is conducted using an example 3D scenario in the presence of manned aircraft and fully autonomous UAS equipped with sense and avoid algorithms.

研究の動機と目的

• UASの空域統合シミュレーションにおいて、パイロットが決定論的に行動すると仮定されることが一般的であるが、そのような現実的でないパイロット行動のモデル化の欠如に対処すること。
• ハイブリッド空域シミュレーションフレームワークにおける、従来の2次元モデルや静的ポリシー仮定の制限を克服すること。
• 時間的に延長された、適応的かつ多様な認知レベルを持つパイロットの意思決定を捉える3次元シミュレーション環境を開発すること。
• 有人機とUAS間の衝突回避責任の割り当て（有人機 vs. UAS）が、UAS-NAS統合における安全性とパフォーマンス指標に与える影響を評価すること。
• 行動に配慮したシミュレーションフレームワークを用いて、UASのセンス・アンド・アロウアルゴリズム、分離基準、システムパラメータの定量的評価を可能にすること。

提案手法

• パイロットの認知レベル（レベル0からレベル2）の多様性をモデル化するため、動的レベル-k推論を採用。繰り返しの相互作用において、エージェントが信念を更新し、戦略を再考できるようにする。
• 3次元空域における時間的延長された順次的意思決定をモデル化するため、ニューラルフィットドQラーニング（NFQ）を統合。静的Qテーブルに代えて、深層関数近似を用いる。
• 有人機（動的レベル-kポリシーを用いる）と完全に自律的なUAS（SAA1およびSAA2センス・アンド・アロウアルゴリズムを装備）を含むハイブリッド空域シナリオをシミュレート。
• 衝突回避責任を設定可能なパラメータとしてモデル化。責任は、有人機のみ、UASのみ、または共有の3通り。エージェントはそれぞれのマニューバリングルールに従う。
• 現実的な運動学的特性と最小分離基準に基づく衝突検出を備えた3次元空域モデルを採用。
• システムの成果を評価するため、安全指標（分離違反）とパフォーマンス指標（軌道のずれと飛行時間）を用いる。

実験結果

リサーチクエスチョン

• RQ1 動的レベル-k推論は、静的または決定論的モデルと比較して、UAS-NAS統合シミュレーションにおけるパイロット行動モデルの現実性と予測力の向上にどのように寄与するか？
• RQ2 異なるプラットフォーム（有人機、UAS、両者）に衝突回避責任を割り当てる場合、3次元単一衝突シナリオにおける安全性とパフォーマンスに与える影響は何か？
• RQ3 SAA1およびSAA2という異なるSAAアルゴリズムは、責任割り当てとパイロット認知レベルの分布が異なる条件下で、どのように性能を発揮するか？
• RQ4 ニューラルフィットドQラーニングの使用は、大規模なQテーブルに依存せずに、3次元空域におけるスケーラブルな適応的かつ時間的延長された意思決定のモデル化をどの程度可能にするか？
• RQ5 パイロットの認知レベルが10％レベル0、60％レベル1、30％レベル2である場合、共有衝突回避シナリオにおける全体の安全性とパフォーマンスにどのような影響を与えるか？

主な発見

• 共有衝突回避責任のシナリオでは、SAA1およびSAA2の両アルゴリズムにおいて、分離違反の数が最も少なく、安全リスクが最小限に抑えられた。
• 有人機が責任を負う場合、共有責任のケースと比較して、平均的な軌道のずれが大きくなり、作業負荷が増加し、効率の悪い衝突回避が生じた。
• UASが責任を負う場合、共有責任のケースと比較して、平均的な軌道のずれが大きくなり、単独での責任体制下で効率的でない、または最適でないマニューバーが生じた。
• 衝突回避責任が有人機に一任された場合、UASの飛行時間が最も短く、UASがマニューバーを実施する必要がない状況で最適な経路を維持できることを示した。
• 動的レベル-k推論モデルは、適応的パイロット行動を効果的に捉えており、レベル1およびレベル2のパイロットが繰り返しの相互作用の中で信念を更新し、戦略を調整していることを示した。
• ニューラルフィットドQラーニングの統合により、大規模なQテーブルを保存することなく、関数ベースのポリシー学習が可能となり、複雑な3次元の時間的延長意思決定シーケンスのモデル化が実現された。