[论文解读] Machine Learning Meets Advanced Robotic Manipulation

Saeid Nahavandi, Roohallah Alizadehsani+4 more|arXiv (Cornell University)|Sep 22, 2023

Robot Manipulation and LearningEngineering被引用 3

一句话总结

本综述回顾了最先进的机器学习（ML）技术——特别是深度强化学习、模仿学习以及仿真到真实（Sim2Real）迁移——在工业、医疗、农业、航天和军事等领域的先进机器人操作中的应用。它强调了机器学习在从示范或交互中学习复杂、安全且高效的操控控制器方面的作用，同时指出了在鲁棒性、实时感知以及对未见过任务的泛化能力方面面临的关键挑战。

ABSTRACT

Automated industries lead to high quality production, lower manufacturing cost and better utilization of human resources. Robotic manipulator arms have major role in the automation process. However, for complex manipulation tasks, hard coding efficient and safe trajectories is challenging and time consuming. Machine learning methods have the potential to learn such controllers based on expert demonstrations. Despite promising advances, better approaches must be developed to improve safety, reliability, and efficiency of ML methods in both training and deployment phases. This survey aims to review cutting edge technologies and recent trends on ML methods applied to real-world manipulation tasks. After reviewing the related background on ML, the rest of the paper is devoted to ML applications in different domains such as industry, healthcare, agriculture, space, military, and search and rescue. The paper is closed with important research directions for future works.

研究动机与目标

• 综合近期在机器人操作中机器学习方面的进展，重点关注超越仿真的实际应用。
• 识别部署基于机器学习的控制器时的关键挑战，包括安全性、可靠性和对传感器故障的鲁棒性。
• 考察工业、医疗、农业、航天和军事机器人等领域的特定应用场景。
• 探索多模态感知（视觉、触觉）与人机协作在复杂操作中的集成。
• 概述提升泛化能力、迁移学习和在动态环境中适应性的关键研究方向。

提出的方法

• 系统性回顾包括深度强化学习（DRL）、模仿学习（IL）以及仿真到真实（Sim2Real）迁移在内的机器学习方法在机器人控制中的应用。
• 将操作学习问题分类为五种形式化类型：状态空间表示、动力学建模、运动技能学习、预处理学习和层次化学习。
• 分析基于视觉和基于触觉的感知系统在操作任务中用于物体检测、抓取规划和接触感知。
• 评估基于数据驱动的抓取合成方法，通过学习到的度量对采样的抓取候选进行优化排序。
• 评估需要实时场景理解、物体识别和视觉推理的人机协作（HRC）框架。
• 研究深度学习模型在安全关键型机器人系统中对传感器故障和分布外（OOD）输入的容错能力与检测方法。

实验结果

研究问题

• RQ1 机器学习方法如何有效从专家示范或环境交互中学习复杂操作技能？
• RQ2 当前基于机器学习的控制器在实际部署中存在哪些关键局限性，特别是在鲁棒性和安全性方面？
• RQ3 如何整合多模态感知（视觉、触觉）以提升在非结构化环境中对物体的操作性能？
• RQ4 仿真到真实迁移在降低真实世界训练成本和加速策略部署方面发挥什么作用？
• RQ5 机器人如何对新物体和新任务进行泛化，例如抓取未知物品或判断液体的可倒出性？

主要发现

• 模仿学习和强化学习使机器人能够从专家示范中学习复杂操作任务，减少对人工编码轨迹的依赖。
• 基于数据驱动的抓取合成方法通过使用学习到的度量对抓取候选进行排序，实现了较高的成功率，优于传统的几何方法。
• 仿真到真实迁移技术显著减少了真实世界的训练时间和成本，尽管领域随机化和领域自适应仍是关键挑战。
• 触觉传感可提升接触检测和力控制性能，但机械手的视觉盲区限制了对物体完整状态的估计。
• 对分布外（OOD）传感器输入的鲁棒性是主要开放挑战，因为故障传感器可能导致安全关键系统中模型行为不可预测。
• 人机协作得益于实时视觉场景理解，使机器人能够推断人类意图并适应动态工作环境。