[论文解读] Learning Transferable Policies for Monocular Reactive MAV Control

Shreyansh Daftry, J. Andrew Bagnell+1 more|arXiv (Cornell University)|Aug 1, 2016

Domain Adaptation and Few-Shot Learning参考文献 16被引用 28

一句话总结

本文提出了一种使用深度神经网络的领域自适应框架，将反应式飞行策略从仿真或源域数据迁移至新环境中的真实世界单目微型飞行器（MAV）飞行。通过最小化特征空间中的领域差异，该方法在真实世界测试中实现了超过90%的准确率和1900多次成功的障碍物规避，显著优于未经自适应的策略。

ABSTRACT

The ability to transfer knowledge gained in previous tasks into new contexts is one of the most important mechanisms of human learning. Despite this, adapting autonomous behavior to be reused in partially similar settings is still an open problem in current robotics research. In this paper, we take a small step in this direction and propose a generic framework for learning transferable motion policies. Our goal is to solve a learning problem in a target domain by utilizing the training data in a different but related source domain. We present this in the context of an autonomous MAV flight using monocular reactive control, and demonstrate the efficacy of our proposed approach through extensive real-world flight experiments in outdoor cluttered environments.

研究动机与目标

• 解决将自主飞行策略从源域（如仿真环境或不同环境）迁移至新真实世界目标域而无需从头开始训练的挑战。
• 减少对昂贵真实世界数据采集的依赖，尤其是在碰撞规避等失败后果严重的危险任务中。
• 提升策略在传感器质量、动力学特性、天气和环境差异导致的领域分布变化下的泛化能力。
• 通过广泛的户外实验，验证领域自适应在真实世界MAV飞行中的有效性。

提出的方法

• 利用模仿学习，基于源域中人类飞行员的示范数据训练反应式策略，将视觉输入映射为左右速度指令。
• 应用深度自适应网络（DAN），通过在再生核希尔伯特空间中对齐特征表示的均值嵌入，最小化源域与目标域之间的领域差异。
• 采用具有共享特征提取器和领域特定头的深度卷积神经网络（CNN），在保留任务特定策略学习的同时学习领域不变的表征。
• 使用带标签的源域数据和无标签的目标域数据进行模型训练，实现在目标域无需标签即可完成迁移。
• 采用多核最大均值差异（MK-MMD）损失，显式减少源域与目标域特征分布之间的统计差异。
• 通过模仿损失与领域自适应损失的联合优化，端到端微调策略，以提升鲁棒性与可迁移性。

实验结果

研究问题

• RQ1 在仿真或源环境训练的反应式飞行策略，能否在极少或无需真实世界数据的情况下，有效迁移到真实世界目标环境？
• RQ2 领域自适应在单目MAV飞行中，如何提升策略在传感器质量、动力学特性及环境条件变化下的泛化能力？
• RQ3 当在物理上不同的MAV平台或季节性条件下迁移策略时，领域自适应相较于直接复用策略的性能提升程度如何？
• RQ4 粗粒度的源域标注（如左/中/右轨迹）对迁移性能有何影响？此类数据在策略迁移中的局限性是什么？

主要发现

• 所提出的领域自适应方法在真实世界户外飞行中实现了超过90%的障碍物规避准确率，在6公里飞行距离中成功避开了1,900多棵树。
• 在物理系统和天气条件变化的迁移中，目标域的性能优于源域，归因于冬季环境下传感器分辨率更高且视觉杂波更少。
• 领域自适应策略相比非自适应策略泛化能力显著提升，通过飞行序列的定性对比可见，自适应策略在密集森林条件下仍能保持稳定控制。
• 使用现成数据集中的粗粒度标注在跨环境迁移中仅带来轻微性能提升，表明任务与领域不匹配带来的局限性。
• 由于冬季树叶和枝条减少，视觉干扰降低，导致失败案例减少，凸显环境因素对策略鲁棒性的影响。
• 该方法表明，即使源域与目标域在物理位置、光照和动态条件上存在差异，领域自适应仍能有效缓解领域偏移问题。