[论文解读] Flying through a narrow gap using neural network: an end-to-end planning and control approach

Jiarong Lin, Luqi Wang+3 more|arXiv (Cornell University)|Mar 21, 2019

Robotic Path Planning Algorithms被引用 7

一句话总结

本文提出了一种端到端的深度强化学习框架，可直接将感知输入映射为四旋翼无人机穿越狭窄、倾斜缝隙时的推力-姿态控制指令。通过首先模仿传统运动规划流程，再通过强化学习进行微调，该方法在推力消耗更低且鲁棒性更高的前提下，实现了与基于模型的方法相当的性能。

ABSTRACT

In this paper, we investigate the problem of enabling a drone to fly through a tilted narrow gap, without a traditional planning and control pipeline. To this end, we propose an end-to-end policy network, which imitates from the traditional pipeline and is fine-tuned using reinforcement learning. Unlike previous works which plan dynamical feasible trajectories using motion primitives and track the generated trajectory by a geometric controller, our proposed method is an end-to-end approach which takes the flight scenario as input and directly outputs thrust-attitude control commands for the quadrotor. Key contributions of our paper are: 1) presenting an imitate-reinforce training framework. 2) flying through a narrow gap using an end-to-end policy network, showing that learning based method can also address the highly dynamic control problem as the traditional pipeline does (see attached video: https://www.youtube.com/watch?v=jU1qRcLdjx0). 3) propose a robust imitation of an optimal trajectory generator using multilayer perceptrons. 4) show how reinforcement learning can improve the performance of imitation learning, and the potential to achieve higher performance over the model-based method.

研究动机与目标

• 实现无人机在不依赖传统规划-控制流程的前提下，高速穿越狭窄、倾斜缝隙的飞行。
• 探究在高动态场景下，基于端到端学习的控制方法是否能够达到或超越基于模型的方法的性能。
• 开发一种鲁棒的模仿-强化学习框架，以提升泛化能力与控制效率。
• 证明神经网络策略可在复杂、动态环境中实现稳定、精确的飞行。

提出的方法

• 通过模仿学习训练一个端到端策略网络，以模仿传统运动规划器生成的动力学可行轨迹，该规划器使用运动基元进行轨迹生成。
• 网络以环境状态和目标位姿作为输入，输出四旋翼无人机的实时推力与姿态指令。
• 在模仿学习阶段应用数据归一化与数据增强，以提升泛化能力与收敛速度。
• 通过信任域策略优化（TRPO）算法执行强化学习微调阶段，基于密集稀疏奖励对策略进行优化。
• 框架在包含20,000条随机轨迹的仿真环境中进行训练，并在独立的100条轨迹测试集上进行验证。
• 整个系统可实时运行，Jetson TX2平台上的规划延迟为3–5 ms，端到端网络延迟为6–7 ms。

实验结果

研究问题

• RQ1 在激进的缝隙穿越任务中，端到端神经网络策略是否能够实现与传统基于模型的规划与控制流程相当或更优的性能？
• RQ2 使用多层感知机进行模仿学习，在复杂飞行场景中复制最优轨迹生成器的效率如何？
• RQ3 强化学习微调在多大程度上提升了模仿策略的鲁棒性与效率？
• RQ4 模仿-强化框架是否在保持或提升飞行精度的同时，降低了控制努力（如更低的推力）？

主要发现

• 在GTX 1080 Ti上训练数天后，模仿学习阶段的测试损失为0.99，训练损失为0.67，表明对参考轨迹的模仿效果良好。
• 端到端策略成功以最高3 m/s的速度和最高60°的倾斜角度穿越狭窄缝隙，证明了其在高动态环境下的可行性。
• 强化学习微调显著降低了平均角速度波动，缓解了由模仿误差引起的振荡现象。
• RL微调后的策略在所有方法中平均推力最低，表明其具有更高的能效与更平稳的控制表现。
• 数据归一化与增强的结合实现了最快的收敛速度与最低的测试损失，证明其对泛化能力至关重要。
• 端到端方法在推力效率与鲁棒性方面优于传统基于模型的规划流程，表明其在复杂环境中具备实现更高性能的潜力。