[论文解读] Modular Deep Q Networks for Sim-to-real Transfer of Visuo-motor Policies

Fangyi Zhang, Jürgen Leitner+2 more|arXiv (Cornell University)|Oct 21, 2016

Reinforcement Learning in Robotics参考文献 27被引用 33

一句话总结

该论文提出了一种模块化深度Q网络框架，将感知与控制解耦，实现视觉-运动策略从仿真到现实的迁移，支持仅使用少量真实世界数据的端到端微调。通过在感知与控制之间引入瓶颈层，该方法在真实世界中实现了1.6像素的抓取精度——比直接迁移方法高出21.7%，证明了仅通过20次真实世界试验即可实现高效的视觉-动作协调。

ABSTRACT

While deep learning has had significant successes in computer vision thanks to the abundance of visual data, collecting sufficiently large real-world datasets for robot learning can be costly. To increase the practicality of these techniques on real robots, we propose a modular deep reinforcement learning method capable of transferring models trained in simulation to a real-world robotic task. We introduce a bottleneck between perception and control, enabling the networks to be trained independently, but then merged and fine-tuned in an end-to-end manner to further improve hand-eye coordination. On a canonical, planar visually-guided robot reaching task a fine-tuned accuracy of 1.6 pixels is achieved, a significant improvement over naive transfer (17.5 pixels), showing the potential for more complicated and broader applications. Our method provides a technique for more efficient learning and transfer of visuo-motor policies for real robotic systems without relying entirely on large real-world robot datasets.

研究动机与目标

• 减少对大规模真实世界数据集的依赖，以训练机器人视觉-运动策略。
• 通过解耦感知与控制的训练并支持端到端微调，提升仿真到现实的迁移性能。
• 仅使用少量真实世界图像，实现模拟策略向真实世界机器人系统的高效适应。
• 评估该方法在现实条件（如遮挡和目标变化）下的鲁棒性。
• 证明模块化训练结合加权端到端微调可显著提升与直接迁移相比的视觉-动作协调能力。

提出的方法

• 引入一种模块化深度Q网络架构，通过瓶颈层分离感知与控制模块。
• 在仿真环境中使用深度Q学习独立预训练感知与控制网络。
• 将两个模块合并为一个联合网络，并使用加权损失函数进行端到端微调，以平衡仿真与真实世界数据的贡献。
• 微调过程混合使用仿真与真实世界图像，以防止灾难性遗忘并提升真实世界泛化能力。
• 在控制训练期间使用运动学引导策略（K-GPS），以提高样本效率并增强对传感噪声的鲁棒性。
• 该方法仅利用少量真实世界试验（20次）将感知网络从仿真环境适配到真实世界，最大限度减少真实世界数据需求。

实验结果

研究问题

• RQ1 模块化深度强化学习方法是否能在仅使用少量真实世界数据的情况下，提升视觉-运动策略的仿真到现实迁移性能？
• RQ2 使用加权损失的端到端微调在提升感知与控制之间视觉-动作协调方面有多有效？
• RQ3 在仅使用少量真实图像的情况下，于仿真环境中训练的感知网络在多大程度上能泛化到真实世界场景？
• RQ4 该方法在现实挑战（如遮挡和目标模糊性）下的表现如何？
• RQ5 与端到端联合训练或直接迁移相比，该模块化架构能否保持或提升性能？

主要发现

• 所提方法在真实世界中实现了1.6像素的抓取精度，比直接迁移方法（17.5像素）提升了21.7%。
• 使用加权损失的端到端微调显著改善了视觉-动作协调，优于直接组合与直接微调方法。
• 即使仅使用20次真实世界试验，经微调的感知网络仍能良好泛化到训练期间未见过的真实目标。
• 该方法对遮挡表现出鲁棒性：大多数目标仍能被成功抓取，尽管误差增加约2倍（相比无遮挡情况）。
• 所有测试网络（EE1在真实世界除外）在真实世界试验中的成功率均在98%至100%之间，表明其具有高度可靠性。
• 仅使用少量真实图像，即可将仿真中训练的感知网络适配到真实世界，表明即使仿真中视觉保真度一般，也足以实现有效迁移。