[论文解读] Learning Transferable UAV for Forest Visual Perception

Lyujie Chen, Wufan Wang+1 more|arXiv (Cornell University)|Jun 10, 2018

Advanced Neural Network Applications参考文献 15被引用 5

一句话总结

本文提出了一种用于训练单目无人机在密集森林小径中自主导航的迁移学习流程，采用模拟数据集和领域自适应技术。通过将森林视觉感知建模为使用ResNet-18模型的分类任务，并应用多核最大均值差异（MK-MMD）进行领域自适应，该方法在真实飞行中实现了84.08%的准确率，显著优于基线模型。

ABSTRACT

In this paper, we propose a new pipeline of training a monocular UAV to fly a collision-free trajectory along the dense forest trail. As gathering high-precision images in the real world is expensive and the off-the-shelf dataset has some deficiencies, we collect a new dense forest trail dataset in a variety of simulated environment in Unreal Engine. Then we formulate visual perception of forests as a classification problem. A ResNet-18 model is trained to decide the moving direction frame by frame. To transfer the learned strategy to the real world, we construct a ResNet-18 adaptation model via multi-kernel maximum mean discrepancies to leverage the relevant labelled data and alleviate the discrepancy between simulated and real environment. Simulation and real-world flight with a variety of appearance and environment changes are both tested. The ResNet-18 adaptation and its variant model achieve the best result of 84.08% accuracy in reality.

研究动机与目标

• 解决在真实世界数据有限的情况下，训练单目无人机在森林小径中实现自主导航的挑战。
• 通过在Unreal Engine中使用物理上逼真的模拟，降低真实世界数据采集的成本和风险。
• 通过最小化模拟与真实视觉数据之间分布差异的领域自适应技术，弥合模拟到真实世界的领域差距。
• 开发一种鲁棒且可迁移的视觉感知系统，实现在多种环境条件下无碰撞、沿路径飞行。
• 验证多源领域自适应在模拟数据中使用季节和光照变化的有效性。

提出的方法

• 使用AirSim在Unreal Engine中收集了一个新的密集森林小径数据集，模拟了多样的季节和光照条件（春季、夏季、秋季、冬季、下雪；清晨、黄昏）。
• 将视觉感知建模为三分类问题（左转、前进、右转），以指导无人机轨迹决策。
• 使用模拟数据训练ResNet-18主干网络，从单目图像中预测运动方向。
• 引入多核最大均值差异（MK-MMD）层，对齐模拟与真实世界领域之间的特征分布，实现领域自适应。
• 多源自适应模型结合来自多个源领域（如不同季节和光照条件）的特征，以提升泛化能力并减少领域偏移。
• 设计一个简单的反应式控制器，将预测的类别概率转化为实时无人机飞行的控制指令。

实验结果

研究问题

• RQ1 仅在模拟森林图像上训练的深度学习模型，能否在密集且视觉复杂的现实森林环境中有效泛化至真实无人机飞行？
• RQ2 模拟与真实世界视觉数据之间的领域偏移，如何影响基于视觉的导航策略性能？
• RQ3 源领域多样性（如季节和光照变化）对模拟到真实迁移中的领域自适应性能有何影响？
• RQ4 与单源自适应相比，使用MK-MMD的多源领域自适应能否提升泛化能力和鲁棒性？
• RQ5 哪些超参数设置（如MK-MMD中的学习权重λ）能在跨领域迁移中实现最佳性能？

主要发现

• 所提出的多源自适应模型在真实世界中实现了最高的准确率84.08%，显著优于基线ResNet-18模型。
• 使用全部模拟数据（包括所有季节和光照条件）作为源领域，在真实世界测试中达到81.40%的准确率，远高于未自适应模型的72.24%准确率。
• 仅使用冬季模拟数据训练的模型表现较差（准确率61%），表明季节简化导致的领域偏移会限制泛化能力。
• 从源领域中排除秋季图像会降低性能，表明季节多样性有助于提升鲁棒性。
• 结合所有季节中清晨和黄昏图像的多源自适应模型表现最佳，表明光照条件多样性可提升可迁移性。
• 敏感性分析表明，将MK-MMD学习权重λ设为1，可在特征学习与领域差异最小化之间实现最佳平衡。