[論文レビュー] A Survey on Robotic Manipulation of Deformable Objects: Recent Advances, Open Challenges and New Frontiers

Feida Gu, Yanmin Zhou+3 more|arXiv (Cornell University)|Dec 16, 2023

Robot Manipulation and Learning被引用数 10

ひとこと要約

この総説は、ロボティクスにおける変形可能オブジェクト（DOs）の知覚、モデリング、操作におけるデータ駆動型および分析的アプローチをレビューし、最近の進展と未解決の課題を強調し、LLMsの役割を含む。

ABSTRACT

Deformable object manipulation (DOM) for robots has a wide range of applications in various fields such as industrial, service and health care sectors. However, compared to manipulation of rigid objects, DOM poses significant challenges for robotic perception, modeling and manipulation, due to the infinite dimensionality of the state space of deformable objects (DOs) and the complexity of their dynamics. The development of computer graphics and machine learning has enabled novel techniques for DOM. These techniques, based on data-driven paradigms, can address some of the challenges that analytical approaches of DOM face. However, some existing reviews do not include all aspects of DOM, and some previous reviews do not summarize data-driven approaches adequately. In this article, we survey more than 150 relevant studies (data-driven approaches mainly) and summarize recent advances, open challenges, and new frontiers for aspects of perception, modeling and manipulation for DOs. Particularly, we summarize initial progress made by Large Language Models (LLMs) in robotic manipulation, and indicates some valuable directions for further research. We believe that integrating data-driven approaches and analytical approaches can provide viable solutions to open challenges of DOM.

研究の動機と目的

• 変形可能オブジェクト操作に関する150件以上の研究を調査し、現状の知識を統合する。
• データ駆動型手法を強調し、DOs の知覚、モデリング、操作の進歩を示す。
• マルチモーダル知覚とDOMにおけるLLMsを含む将来の課題を議論し、今後の方向性を提案する。
• 分析的アプローチとデータ駆動アプローチを橋渡しし、DOMタスクに実用的な解決策を提供する。

提案手法

• 知覚、モデリング、操作を横断するDOMに関する最近の研究の系統的文献調査。
• 知覚を視覚、触覚、マルチモーダルモダリティに分類し、データセットとシミュレータの考慮を含める。
• 分析的モデリング（MSD, PBD, 連続体力学）とデータ駆動モデル（ヤコビ行列ベースおよびGNNベース）を比較。
• 従来の計画/制御と学習ベースの方法を含む操作戦略の概説。
• ロボット操作におけるLLMsの議論と、タスク定義、計画、報酬、曖昧さの整合性への潜在的影響。
• データ要件、データセット、触覚シミュレータ、シム-実機の考慮事項について議論。

Figure 1: Applications involving DOM. (a) Manufacturing industry [ 3 , 4 , 5 , 6 ] (b) Medical surgery [ 7 , 8 , 9 , 10 ] (c) Food processing [ 11 , 12 , 13 , 14 ] (d) Daily living activities [ 15 , 16 , 17 , 18 ]

実験結果

リサーチクエスチョン

• RQ1 ロボティクスにおける変形可能オブジェクト操作の知覚、モデリング、操作の最近の進展は何か？
• RQ2 DOMにおける未解決の課題は何か、将来の研究のフロンティアは何か？
• RQ3 データ駆動アプローチを分析モデルと統合してDOMの複雑さにどう対処できるか？
• RQ4 DOsのロボット操作に対するLarge Language Models (LLMs)の潜在的影響は何か？
• RQ5 マルチモーダルDOM知覚を進展させる上でデータセットと触覚シミュレータはどのような役割を果たすか？

主な発見

• この調査はデータ駆動型アプローチに焦点を当て、150件以上の関連研究をカバーしている。
• 視覚と触覚センサを組み合わせたマルチモーダル知覚はDOMに不可欠であると強調されている。
• GNNベースのモデルとヤコビ行列アプローチがデータ駆動モデリングの主要技術として提示されている。
• DOM操作にはRLと模倣学習法が強調され、従来の計画と制御と共に言及されている。
• LLMsはタスク定義、計画、報酬設計における新興で有望な方向として議論されている。
• データ駆動アプローチと分析的アプローチの統合は、未解決のDOM課題に対処する現実的な道として提案されている。

Figure 2: A typical robotic system for handling DOs including robotic hardware, perception hardware, robotic hands, tools used for DOM, algorithms for various functions, etc.