[논문 리뷰] A Survey on Robotic Manipulation of Deformable Objects: Recent Advances, Open Challenges and New Frontiers

Feida Gu, Yanmin Zhou외 3명|arXiv (Cornell University)|2023. 12. 16.

Robot Manipulation and Learning인용 수 10

한 줄 요약

이 설문조사는 로봇공학에서 변형 가능 물체(DOs)의 지각, 모델링, 조작에 대한 데이터 기반 및 분석적 접근법을 검토하고, 최근의 발전과 남은 도전과제, 대형 언어 모델(LLMs)의 역할을 포함한다.

ABSTRACT

Deformable object manipulation (DOM) for robots has a wide range of applications in various fields such as industrial, service and health care sectors. However, compared to manipulation of rigid objects, DOM poses significant challenges for robotic perception, modeling and manipulation, due to the infinite dimensionality of the state space of deformable objects (DOs) and the complexity of their dynamics. The development of computer graphics and machine learning has enabled novel techniques for DOM. These techniques, based on data-driven paradigms, can address some of the challenges that analytical approaches of DOM face. However, some existing reviews do not include all aspects of DOM, and some previous reviews do not summarize data-driven approaches adequately. In this article, we survey more than 150 relevant studies (data-driven approaches mainly) and summarize recent advances, open challenges, and new frontiers for aspects of perception, modeling and manipulation for DOs. Particularly, we summarize initial progress made by Large Language Models (LLMs) in robotic manipulation, and indicates some valuable directions for further research. We believe that integrating data-driven approaches and analytical approaches can provide viable solutions to open challenges of DOM.

연구 동기 및 목표

• 변형 가능 물체 조작에 관한 150편 이상의 연구를 조사하여 현재의 지식을 종합한다.
• 데이터 기반 방법에 중점을 두고 DOs의 지각, 모델링, 조작에서의 진전을 강조한다.
• 개방형 도전과제를 논의하고 멀티모달 지각 및 DOM에서의 LLM을 포함한 미래 방향을 제안한다.
• DOM 작업에 대해 실행 가능한 해결책을 제시하기 위해 분석적 방법과 데이터 기반 접근의 다리를 놓는다.

제안 방법

• 지각, 모델링, 조작에 걸친 DOM에 관한 최근 연구들에 대한 체계적 문헌 고찰.
• 지각을 시각, 촉각 및 멀티모달 모달리티로 분류하고 데이터셋 및 시뮬레이터 고려를 포함한다.
• 분석적 모델링(MSD, PBD, 연속체 역학)과 데이터 기반 모델(Jacobian 기반 및 GNN 기반)의 비교.
• 전통적인 계획/제어 및 학습 기반 방법을 포함한 조작 전략의 개요.
• 로봇 조작에서의 LLMs와 작업 정의, 계획, 보상 및 불확실성 정렬에 미치는 잠재적 영향에 대한 논의.
• 데이터 요구사항, 데이터셋, 촉각 시뮬레이터 및 시뮬레이션-실제 간 고려사항에 대한 논의.

Figure 1: Applications involving DOM. (a) Manufacturing industry [ 3 , 4 , 5 , 6 ] (b) Medical surgery [ 7 , 8 , 9 , 10 ] (c) Food processing [ 11 , 12 , 13 , 14 ] (d) Daily living activities [ 15 , 16 , 17 , 18 ]

실험 결과

연구 질문

• RQ1 로봇공학에서 변형 가능 물체 조작의 지각, 모델링, 조작에 대한 최근 발전은 무엇인가?
• RQ2 DOM에서 남아 있는 개방형 도전과제는 무엇이며, 향후 연구를 위한 어떤 최전선이 식별되었나?
• RQ3 데이터 기반 approaches를 분석적 모델과 어떻게 통합하여 DOM의 복잡성을 해결할 수 있는가?
• RQ4 대형 언어 모델(LLMs)이 DO의 로봇 조작에 미칠 잠재적 영향은 무엇인가?
• RQ5 데이터셋과 촉각 시뮬레이터가 다중모달 DOM 지각의 발전에 어떤 역할을 하는가?

주요 결과

• 본 조사는 데이터 기반 접근에 초점을 맞춘 150편이 넘는 관련 연구를 다룬다.
• 시각과 촉각 센싱을 결합한 멀티모달 지각이 DOM에 필수적임으로 강조된다.
• GNN 기반 모델과 Jacobian-행렬 접근법이 중요한 데이터 기반 모델링 기법으로 제시된다.
• 전통적 계획 및 제어와 함께 DOM 조작을 위한 RL 및 모방 학습 방법이 강조된다.
• LLMs가 DOM에서 작업 정의, 계획 및 보상 설계에 대한 초기이면서 유망한 방향으로 논의된다.
• 데이터 기반과 분석적 접근의 통합을 개방된 DOM 도전과제를 해결하기 위한 실행 가능한 경로로 제안된다.

Figure 2: A typical robotic system for handling DOs including robotic hardware, perception hardware, robotic hands, tools used for DOM, algorithms for various functions, etc.