[论文解读] A Survey of Behavior Learning Applications in Robotics -- State of the Art and Perspectives

Alexander Fabisch, Christoph Petzoldt+2 more|arXiv (Cornell University)|Jun 5, 2019

Robot Manipulation and Learning参考文献 237被引用 10

一句话总结

本综述探讨了行为学习在机器人学中的实际应用，重点关注人形机器人和腿式机器人等复杂系统。它对所学行为进行分类，评估了机器学习（尤其是强化学习与模仿学习）的有效性，同时主张将机器学习与经典机器人学更紧密地结合，以实现更稳健、自主的系统。

ABSTRACT

Recent success of machine learning in many domains has been overwhelming, which often leads to false expectations regarding the capabilities of behavior learning in robotics. In this survey, we analyze the current state of machine learning for robotic behaviors. We will give a broad overview of behaviors that have been learned and used on real robots. Our focus is on kinematically or sensorially complex robots. That includes humanoid robots or parts of humanoid robots, for example, legged robots or robotic arms. We will classify presented behaviors according to various categories and we will draw conclusions about what can be learned and what should be learned. Furthermore, we will give an outlook on problems that are challenging today but might be solved by machine learning in the future and argue that classical robotics and other approaches from artificial intelligence should be integrated more with machine learning to form complete, autonomous systems.

研究动机与目标

• 分析行为学习在真实机器人应用中的当前状态，特别是针对运动学和感知上复杂的机器人。
• 根据功能类别对所学行为进行分类，并评估哪些行为最适于通过机器学习实现。
• 解决深度学习成功带来的高期望与机器人控制系统实际局限性之间的差距。
• 主张将机器学习与经典机器人学及人工智能方法进行协同整合，以构建更稳健、自主的机器人系统。
• 全面概述哪些行为可以成功学习，以及未来研究应优先关注哪些方面。

提出的方法

• 对已实施行为学习的真实机器人应用进行广泛调研，重点关注自由度高且具有复杂感觉运动控制的系统。
• 根据功能类别（如行走、操作、导航和社交互动）对行为进行分类。
• 分析不同学习范式（强化学习、模仿学习和策略搜索）在各类机器人任务中的作用。
• 评估将最先进机器学习应用于真实机器人时面临的技术挑战，包括实时性约束、样本效率和安全性。
• 使用对比矩阵将行为映射到学习组件（感知、动作、规划/反应控制），突出显示哪些方面已被学习。
• 从标志性研究案例（如Atlas机器人控制和用于击球的机械臂学习）中得出结论，以说明实际限制与成功之处。

实验结果

研究问题

• RQ1 哪些机器人行为已在真实、复杂的机器人（如人形或腿式系统）上成功学习并部署？
• RQ2 当前的机器学习技术，特别是强化学习与模仿学习，在真实机器人系统中实现稳健行为学习方面的有效程度如何？
• RQ3 将最先进机器学习应用于机器人控制时的主要局限性是什么？这些局限性与仿真环境中的差异在哪里？
• RQ4 哪些行为最适于通过机器学习实现？哪些行为应通过经典机器人学或符号人工智能方法设计？
• RQ5 如何有效整合机器学习与经典机器人学及其他人工智能方法，以构建完整、自主的机器人系统？

主要发现

• 尽管机器学习取得了重大进展，但许多高性能机器人（如波士顿动力公司的Atlas）仍主要依赖经典控制与优化方法，而非强化学习。
• 强化学习已被成功应用于复杂任务（如机械臂操作，例如击球任务），但样本效率低下和实时性约束仍是重大挑战。
• 模仿学习结合动态运动基模（DMPs）已成功实现复杂运动技能在机械臂上的学习，如2005年Peters等人研究所示。
• 行走于复杂地形、爬楼梯、拦截球体以及协作任务（如钻孔或制作比萨）等行为，已通过混合学习方法成功实现。
• 在实践中，感知与动作学习常被解耦；许多系统单独学习感知或使用预训练模型，而动作策略则通过策略搜索或模仿学习实现。
• 将基于模型的（规划性）控制与实时的（反应性）控制结合机器学习，对于在复杂环境中实现稳健、安全且高效的机器人行为至关重要。