[论文解读] Generalization through Simulation: Integrating Simulated and Real Data into Deep Reinforcement Learning for Vision-Based Autonomous Flight

Katie Kang, Suneel Belkhale+3 more|arXiv (Cornell University)|Feb 11, 2019

Reinforcement Learning in Robotics参考文献 37被引用 11

一句话总结

本文提出一种混合深度强化学习方法，结合模拟数据用于视觉感知和真实世界数据用于动态控制，以实现在纳米飞行器上的视觉避障。通过在仿真中预训练特定任务的视觉策略，并仅使用一小时真实世界数据微调动作条件奖励预测器，该方法在复杂光照和几何结构的新环境中实现了鲁棒的泛化性能，飞行距离比之前的方法提升4倍，并在具有挑战性的走廊环境中实现了稳定的成功。

ABSTRACT

Deep reinforcement learning provides a promising approach for vision-based control of real-world robots. However, the generalization of such models depends critically on the quantity and variety of data available for training. This data can be difficult to obtain for some types of robotic systems, such as fragile, small-scale quadrotors. Simulated rendering and physics can provide for much larger datasets, but such data is inherently of lower quality: many of the phenomena that make the real-world autonomous flight problem challenging, such as complex physics and air currents, are modeled poorly or not at all, and the systematic differences between simulation and the real world are typically impossible to eliminate. In this work, we investigate how data from both simulation and the real world can be combined in a hybrid deep reinforcement learning algorithm. Our method uses real-world data to learn about the dynamics of the system, and simulated data to learn a generalizable perception system that can enable the robot to avoid collisions using only a monocular camera. We demonstrate our approach on a real-world nano aerial vehicle collision avoidance task, showing that with only an hour of real-world data, the quadrotor can avoid collisions in new environments with various lighting conditions and geometry. Code, instructions for building the aerial vehicles, and videos of the experiments can be found at github.com/gkahn13/GtS

研究动机与目标

• 解决在真实世界纳米飞行器中，由于真实世界数据有限，视觉控制策略泛化困难的问题。
• 克服模拟与现实之间在动力学和视觉真实感方面的领域差距。
• 通过将感知学习（在仿真中）与控制策略学习（在现实中）分离，提高真实世界部署中的样本效率和鲁棒性。
• 探究通过强化学习在仿真中学习的任务特定视觉表征，是否比无监督或有监督预训练具有更好的迁移性能。

提出的方法

• 该方法将感知与控制解耦：使用强化学习在仿真中预训练导航与避障任务的视觉特征。
• 感知网络通过仿真训练策略的特征初始化，从而实现对新环境的泛化能力。
• 控制策略使用仅一小时飞行数据的真实世界数据集进行训练，结合动作条件奖励预测器以提高样本效率。
• 奖励预测器基于真实世界经验进行训练，以适应真实动力学，避免灾难性过拟合。
• 系统使用单目摄像头实现端到端的基于视觉的控制，无需显式状态估计。
• 该方法通过在迁移学习循环中整合真实世界与仿真经验，实现主动数据收集。

实验结果

研究问题

• RQ1 主要基于仿真数据训练的视觉控制策略，能否在具有多样化光照和几何结构的真实世界环境中有效泛化？
• RQ2 视觉特征学习方法的选择（如强化学习 vs. 无监督 vs. 有监督预训练）如何影响向真实飞行任务的迁移性能？
• RQ3 是否可以有效利用少量真实世界数据（如一小时）对仿真中预训练的策略进行微调，避免灾难性过拟合？
• RQ4 将感知（仿真中）与控制（真实中）分离，是否比联合微调整个策略带来更好的泛化性能？
• RQ5 使用动作条件奖励预测器如何提升真实世界微调中的样本效率和稳定性？

主要发现

• 所提方法在直线走廊中达到80%的成功率，倾斜摄像头条件下达到60%，在之字形走廊中达到80%，显著优于之前完全失败的基线方法。
• 仅使用一小时真实世界数据，该方法使纳米飞行器的飞行距离达到基线方法的4倍，展现出极强的样本效率。
• 该方法优于“仅仿真”和“仿真微调”基线，后者因泛化能力差和性能不稳定而表现不佳。
• 在仿真中通过强化学习训练的任务特定视觉表征，其迁移性能显著优于无监督（VAE）或有监督（ImageNet预训练）方法。
• 失败案例通常具有合理性（如撞上玻璃门），表明模型学习到了有意义的不变性，且可通过更多真实世界数据进一步改进。
• 动作条件奖励预测器在实现稳定且高效的现实世界微调中起到了关键作用，有效促进了从仿真到现实的知识迁移。