[论文解读] A Survey on Robotic Manipulation of Deformable Objects: Recent Advances, Open Challenges and New Frontiers

Feida Gu, Yanmin Zhou+3 more|arXiv (Cornell University)|Dec 16, 2023

Robot Manipulation and Learning被引用 10

一句话总结

本综述回顾机器人学中对可变形对象（DOs）在感知、建模和操作方面的数据驱动与分析方法，强调最近的进展与未解决的挑战，其中包括大语言模型（LLMs）的作用。

ABSTRACT

Deformable object manipulation (DOM) for robots has a wide range of applications in various fields such as industrial, service and health care sectors. However, compared to manipulation of rigid objects, DOM poses significant challenges for robotic perception, modeling and manipulation, due to the infinite dimensionality of the state space of deformable objects (DOs) and the complexity of their dynamics. The development of computer graphics and machine learning has enabled novel techniques for DOM. These techniques, based on data-driven paradigms, can address some of the challenges that analytical approaches of DOM face. However, some existing reviews do not include all aspects of DOM, and some previous reviews do not summarize data-driven approaches adequately. In this article, we survey more than 150 relevant studies (data-driven approaches mainly) and summarize recent advances, open challenges, and new frontiers for aspects of perception, modeling and manipulation for DOs. Particularly, we summarize initial progress made by Large Language Models (LLMs) in robotic manipulation, and indicates some valuable directions for further research. We believe that integrating data-driven approaches and analytical approaches can provide viable solutions to open challenges of DOM.

研究动机与目标

• 对可变形对象操控的150余项研究进行综述，以综合当前知识。
• 强调在感知、建模和操控方面的进展，聚焦于数据驱动方法的可变形对象。
• 讨论尚存的挑战并提出未来方向，包括多模态感知和在DOM中的LLMs。
• 连接分析方法与数据驱动方法，为DOM任务提供可行的解决方案。

提出的方法

• 对最近在DOM领域的感知、建模与操控方面的工作进行系统文献综述。
• 将感知分类为视觉、触觉和多模态，并考虑数据集与模拟器方面的问题。
• 对比分析建模（MSD、PBD、连续介质力学）与数据驱动模型（基于雅可比矩阵与基于GNN的模型）。
• 概述操控策略，包括传统规划/控制与基于学习的方法。
• 讨论LLMs在机器人操控中的应用及其对任务定义、规划、奖励设计和不确定性对齐的潜在影响。
• 讨论数据需求、数据集、触觉仿真器以及仿真到实物的考虑因素。

Figure 1: Applications involving DOM. (a) Manufacturing industry [ 3 , 4 , 5 , 6 ] (b) Medical surgery [ 7 , 8 , 9 , 10 ] (c) Food processing [ 11 , 12 , 13 , 14 ] (d) Daily living activities [ 15 , 16 , 17 , 18 ]

实验结果

研究问题

• RQ1 在机器人领域对可变形对象的感知、建模和操控方面的最新进展是什么？
• RQ2 可变形对象领域存在哪些尚待解决的挑战，以及未来研究确定了哪些前沿？
• RQ3 如何将数据驱动方法与分析模型结合以应对DOM的复杂性？
• RQ4 大型语言模型（LLMs）对可变形对象的机器人操控有何潜在影响？
• RQ5 数据集和触觉仿真器在推动多模态DOM感知中扮演怎样的角色？

主要发现

• 该综述涵盖了超过150项相关研究，聚焦数据驱动方法。
• 将视觉与触觉感知结合的多模态感知被强调为实现DOM的关键。
• 基于GNN的模型与雅可比矩阵方法被提出为关键的数据驱动建模技术。
• 在DOM操控方面强调了强化学习与模仿学习方法，与传统规划与控制并列。
• LLMs被讨论为DOM在任务定义、规划和奖励设计方面的初现端倪但有前景的方向。
• 将数据驱动方法与分析方法整合被提出为应对未解决的DOM挑战的可行路径。

Figure 2: A typical robotic system for handling DOs including robotic hardware, perception hardware, robotic hands, tools used for DOM, algorithms for various functions, etc.