[论文解读] Deep-learning in Mobile Robotics - from Perception to Control Systems: A Survey on Why and Why not.

Lei Tai, Ming Liu|arXiv (Cornell University)|Dec 21, 2016

Reinforcement Learning in Robotics参考文献 105被引用 62

一句话总结

本综述探讨了深度学习在移动机器人中的应用，重点关注深度强化学习（DRL）和模仿学习在控制策略学习中的应用。文章分析了DRL的扩展方法、现实差距缓解技术、仿真平台以及模仿学习方法，全面概述了机器人感知-控制体系当前的方法、挑战及研究前沿。

ABSTRACT

Deep learning techniques have been widely applied, achieving state-of-the-art results in various fields of study. This survey focuses on deep learning solutions that target learning control policies for robotics applications. We carry out our discussions on the two main paradigms for learning control with deep networks: deep reinforcement learning and imitation learning. For deep reinforcement learning (DRL), we begin from traditional reinforcement learning algorithms, showing how they are extended to the deep context and effective mechanisms that could be added on top of the DRL algorithms. We then introduce representative works that utilize DRL to solve navigation and manipulation tasks in robotics. We continue our discussion on methods addressing the challenge of the reality gap for transferring DRL policies trained in simulation to real-world scenarios, and summarize robotics simulation platforms for conducting DRL research. For imitation leaning, we go through its three main categories, behavior cloning, inverse reinforcement learning and generative adversarial imitation learning, by introducing their formulations and their corresponding robotics applications. Finally, we discuss the open challenges and research frontiers.

研究动机与目标

• 分析深度学习在移动机器人中的应用，特别是控制策略的学习。
• 考察两种主要范式：深度强化学习（DRL）和模仿学习。
• 识别将DRL策略从仿真环境迁移到真实世界环境所面临的挑战。
• 评估当前DRL和模仿学习方法在机器人中的有效性与局限性。
• 概述在基于深度学习的机器人控制中开放的挑战与未来研究方向。

提出的方法

• 回顾传统强化学习算法，并通过使用深度神经网络进行函数逼近，将其扩展为深度强化学习（DRL）。
• 分析DRL的关键组件，如经验回放、目标网络和奖励塑造，以提升训练稳定性和性能。
• 分析减少现实差距的方法，包括领域随机化、端到端仿真到真实世界的迁移技术以及仿真到仿真适应。
• 将模仿学习分类为行为克隆、逆强化学习和生成对抗性模仿学习，详细说明其公式化及在机器人中的应用。
• 评估支持DRL研究和策略训练的机器人仿真平台，如PyBullet、Isaac Gym和AirSim。
• 综合分析代表性研究在真实和仿真环境中将DRL与模仿学习应用于导航和操作任务的成果。

实验结果

研究问题

• RQ1 深度强化学习方法如何在移动机器人中实现端到端的控制策略学习？
• RQ2 哪些机制能够提升机器人控制中深度强化学习的样本效率和稳定性？
• RQ3 仿真到真实策略迁移中的现实差距的主要成因和影响是什么？
• RQ4 在从示范中学习机器人行为方面，行为克隆、逆强化RL和GAIL等不同模仿学习方法如何比较？
• RQ5 在现实世界机器人系统中部署基于深度学习的控制策略时，主要的开放挑战是什么？

主要发现

• 当结合适当的函数逼近和训练技术时，深度强化学习在机器人导航和操作任务中已实现最先进性能。
• 领域随机化和仿真到仿真适应等技术显著减少了现实差距，提升了从仿真到真实世界部署的策略迁移效果。
• 模仿学习方法如GAIL通过从专家示范中学习奖励函数，在复杂任务中优于行为克隆。
• PyBullet和Isaac Gym等仿真平台能够实现可扩展且高效的DRL策略训练，适用于移动机器人。
• 尽管已取得进展，但在样本效率、泛化能力和现实世界机器人系统中深度学习策略的鲁棒性方面仍存在挑战。
• 本综述指出，移动机器人中需要更多通用性、可解释性和安全的基于深度学习的控制策略。