[論文レビュー] Harfang3D Dog-Fight Sandbox: A Reinforcement Learning Research Platform for the Customized Control Tasks of Fighter Aircrafts

Muhammed Murat Özbek, Süleyman Yıldırım+3 more|arXiv (Cornell University)|Oct 13, 2022

Reinforcement Learning in Robotics被引用数 4

ひとこと要約

本論文では、強化学習（RL）研究を目的とした、カスタマイズ可能で準リアルな3次元飛行シミュレーションプラットフォーム「Harfang3D Dog-Fight Sandbox」を紹介する。このプラットフォームは、連続的な状態空間と行動空間を用いた深層強化学習エージェントの訓練を可能にし、TD3+HERを用いて複雑な空戦環境における人間のような行動を示す、ナビゲーションおよび視界内（WVR）戦闘タスクを達成した。

ABSTRACT

The advent of deep learning (DL) gave rise to significant breakthroughs in Reinforcement Learning (RL) research. Deep Reinforcement Learning (DRL) algorithms have reached super-human level skills when applied to vision-based control problems as such in Atari 2600 games where environment states were extracted from pixel information. Unfortunately, these environments are far from being applicable to highly dynamic and complex real-world tasks as in autonomous control of a fighter aircraft since these environments only involve 2D representation of a visual world. Here, we present a semi-realistic flight simulation environment Harfang3D Dog-Fight Sandbox for fighter aircrafts. It is aimed to be a flexible toolbox for the investigation of main challenges in aviation studies using Reinforcement Learning. The program provides easy access to flight dynamics model, environment states, and aerodynamics of the plane enabling user to customize any specific task in order to build intelligent decision making (control) systems via RL. The software also allows deployment of bot aircrafts and development of multi-agent tasks. This way, multiple groups of aircrafts can be configured to be competitive or cooperative agents to perform complicated tasks including Dog Fight. During the experiments, we carried out training for two different scenarios: navigating to a designated location and within visual range (WVR) combat, shortly Dog Fight. Using Deep Reinforcement Learning techniques for both scenarios, we were able to train competent agents that exhibit human-like behaviours. Based on this results, it is confirmed that Harfang3D Dog-Fight Sandbox can be utilized as a 3D realistic RL research platform.

研究の動機と目的

• 複雑で動的な空戦シナリオにおける強化学習エージェントの訓練に適した、現実的でカスタマイズ可能な3次元シミュレーションプラットフォームの不足を解消すること。
• エキスパートのデモンストレーションや実世界データに依存せずに、連続的な行動空間と状態空間を用いた戦闘機の低レベル制御に関する研究を可能にすること。
• ドッグファイトなどの高度なタスク学習を可能にする、協力的および競合的な構成を含むマルチエージェントシナリオをサポートすること。
• OpenAI Gymと互換性があり、スケーラブルなRL実験に適した、柔軟で高精度なシミュレーション環境を提供すること。
• ナビゲーションおよび視界内（WVR）戦闘タスクにおける熟練したRLエージェントの訓練を通じて、プラットフォームの有効性を検証すること。

提案手法

• プラットフォームはC++で実装され、Python、Lua、GolangのAPIを備え、OpenAI Gymなどの既存のRLフレームワークとの統合を可能にしている。
• レンダリングなしモードを含む複数の実行モードをサポートしており、グラフィカルなオーバーヘッドなしで効率的な訓練が可能である。
• 位置、オイラー角、速度、加速度、ヘディングを含む連続的なセンサー入力を提供し、豊富な状態表現を可能にしている。
• エアロダイナミクスの低レベルな制御（エアロネール、エレベーター、ラダー）を介して制御が行われ、エージェントが直接飛行制御を学習できる。
• ハルト・ディレイド・ディープ・デターミニスティック・ポリシー・グラデント（TD3）アルゴリズムにヒューリスティック・エクスペリエンス・リプレイ（HER）を組み合わせた手法を採用している。
• ゴールまでの距離に基づくスパarsな報酬関数を定義しており、成功時+100、失敗または墜落時-100の報酬が与えられ、効率的な学習を促進している。

実験結果

リサーチクエスチョン

• RQ1 準リアルな3次元飛行シミュレーション環境は、複雑な戦闘機制御タスクにおける深層強化学習エージェントの有効な訓練を可能にするか？
• RQ2 Harfang3D Dog-Fight Sandboxで訓練されたRLエージェントは、エキスパートのデモンストレーションなしで人間のようなナビゲーションおよびドッグファイト行動をどれほど学習できるか？
• RQ3 TD3+HERアルゴリズムは、3次元空戦環境における高次元連続制御タスクの制御方策を学習するのにどの程度効果的か？
• RQ4 このプラットフォームは、競合的または協力的タスクのためのスケーラブルな分散訓練およびマルチエージェント構成をサポートできるか？
• RQ5 レンダリングなしモードは、パフォーマンス劣化を伴わずに、効率的で長時間の訓練を可能にするか？

主な発見

• エージェントは約1400エピソードでターゲット位置に到達する能力を学習し、1000エピソード目で収束を示した。
• エピソード報酬曲線は800エピソード以降に学習の遅れを示したが、その後安定化し収束したため、効果的なポリシー学習が行われたと示された。
• TD3+HERの使用により、過大評価問題により基本的なナビゲーションでさえ学習に失敗するベースラインのDDPGに比べ、著しく優れた性能を示した。
• レンダリングなしモードを用いた訓練が可能で、グラフィカルなオーバーヘッドが排除され、サーバー側デプロイとスケーラブルな分散訓練が可能になった。
• シミュレーション環境はマルチエージェント構成を効果的にサポートし、ドッグファイトを含む競合的および協力的タスクの開発が可能になった。
• ゴールまでの距離に基づく報酬関数に加え、スパースな終端報酬を組み合わせることで、密度の高い形状化を必要とせず、効果的にゴールへ誘導した。