[论文解读] Harfang3D Dog-Fight Sandbox: A Reinforcement Learning Research Platform for the Customized Control Tasks of Fighter Aircrafts

Muhammed Murat Özbek, Süleyman Yıldırım+3 more|arXiv (Cornell University)|Oct 13, 2022

Reinforcement Learning in Robotics被引用 4

一句话总结

本文介绍了 Harfang3D 战斗机格斗沙盒（Harfang3D Dog-Fight Sandbox），一个可定制的半真实3D飞行模拟平台，专为强化学习（RL）研究中的战斗机控制而设计。该平台支持使用连续状态与动作空间训练深度强化学习智能体，通过 TD3+HER 算法成功实现了复杂空域环境下的导航与视距内（WVR）格斗任务，展现出类人行为。

ABSTRACT

The advent of deep learning (DL) gave rise to significant breakthroughs in Reinforcement Learning (RL) research. Deep Reinforcement Learning (DRL) algorithms have reached super-human level skills when applied to vision-based control problems as such in Atari 2600 games where environment states were extracted from pixel information. Unfortunately, these environments are far from being applicable to highly dynamic and complex real-world tasks as in autonomous control of a fighter aircraft since these environments only involve 2D representation of a visual world. Here, we present a semi-realistic flight simulation environment Harfang3D Dog-Fight Sandbox for fighter aircrafts. It is aimed to be a flexible toolbox for the investigation of main challenges in aviation studies using Reinforcement Learning. The program provides easy access to flight dynamics model, environment states, and aerodynamics of the plane enabling user to customize any specific task in order to build intelligent decision making (control) systems via RL. The software also allows deployment of bot aircrafts and development of multi-agent tasks. This way, multiple groups of aircrafts can be configured to be competitive or cooperative agents to perform complicated tasks including Dog Fight. During the experiments, we carried out training for two different scenarios: navigating to a designated location and within visual range (WVR) combat, shortly Dog Fight. Using Deep Reinforcement Learning techniques for both scenarios, we were able to train competent agents that exhibit human-like behaviours. Based on this results, it is confirmed that Harfang3D Dog-Fight Sandbox can be utilized as a 3D realistic RL research platform.

研究动机与目标

• 解决在复杂动态空战场景中训练强化学习智能体时缺乏真实、可定制3D模拟平台的问题。
• 实现无需依赖专家示范或真实世界数据的战斗机低层控制研究，采用连续动作与状态空间。
• 支持多智能体场景，包括合作与对抗配置，以支持如格斗等高级任务学习。
• 提供灵活、高保真的模拟环境，兼容 OpenAI Gym 与分布式训练，支持可扩展的强化学习实验。
• 通过在导航与视距内（WVR）格斗任务上训练出表现良好的强化学习智能体，验证平台的有效性。

提出的方法

• 平台使用 C++ 开发，配备 Python、Lua 和 Golang API，可与 OpenAI Gym 等现有强化学习框架集成。
• 支持多种运行模式，包括无渲染模式，可在无图形开销的情况下高效训练。
• 环境提供连续感官输入，包括位置、欧拉角、速度、加速度与航向，实现丰富的状态表征。
• 通过直接操控副翼、升降舵与方向舵实现控制，使智能体能够学习直接飞行控制。
• 采用带有经验回放（HER）的双延迟深度确定性策略梯度（TD3）算法进行训练。
• 定义稀疏奖励函数，基于与目标的距离：成功奖励 +100，失败或坠毁奖励 -100，以促进高效学习。

实验结果

研究问题

• RQ1 半真实的3D飞行模拟环境是否能够有效支持深度强化学习智能体在复杂战斗机控制任务上的训练？
• RQ2 在无专家示范的情况下，强化学习智能体在 Harfang3D 战斗机格斗沙盒中能在多大程度上学习类人导航与格斗行为？
• RQ3 TD3+HER 算法在3D空战环境中对高维连续控制任务的控制策略学习效果如何？
• RQ4 该平台是否能够支持可扩展的分布式训练及多智能体配置，以实现对抗或合作任务？
• RQ5 无渲染模式是否能够实现高效、长时间的训练且不引起性能下降？

主要发现

• 智能体在约 1400 个训练周期内成功学会导航至目标位置，并在第 1000 个周期实现收敛。
• 轨迹奖励曲线在 800 个周期后出现学习速度减缓，随后趋于稳定并收敛，表明策略学习有效。
• TD3+HER 的使用显著优于基线 DDPG 算法，后者因过估计问题甚至无法学习基本导航。
• 平台支持无渲染模式，消除了图形开销，支持服务器端部署与可扩展的分布式训练。
• 模拟环境成功支持多智能体配置，能够实现对抗与合作任务的开发，如格斗。
• 基于与目标距离的奖励函数，结合稀疏的终端奖励，有效引导智能体向目标前进，无需密集奖励塑形。