[論文レビュー] RoboCook: Long-Horizon Elasto-Plastic Object Manipulation with Diverse Tools

Haochen Shi, Huazhe Xu+3 more|arXiv (Cornell University)|Jun 26, 2023

Robot Manipulation and Learning被引用数 7

ひとこと要約

RoboCookは、生地のようなエラストープラスティック物体を多様なツールを用いて長時間にわたる操作を可能にするロボットフレームワークである。自己教師付きポリシー学習とグラフニューラルネットワーク（GNN）を用いたダイナミクスモデリング、およびPointNetベースのツール分類を組み合わせ、ツール1つあたりたった20分の実世界データで高い性能を達成し、餃子やアルファベットクッキーの作成といったタスクで最先端の手法を上回っている。

ABSTRACT

Humans excel in complex long-horizon soft body manipulation tasks via flexible tool use: bread baking requires a knife to slice the dough and a rolling pin to flatten it. Often regarded as a hallmark of human cognition, tool use in autonomous robots remains limited due to challenges in understanding tool-object interactions. Here we develop an intelligent robotic system, RoboCook, which perceives, models, and manipulates elasto-plastic objects with various tools. RoboCook uses point cloud scene representations, models tool-object interactions with Graph Neural Networks (GNNs), and combines tool classification with self-supervised policy learning to devise manipulation plans. We demonstrate that from just 20 minutes of real-world interaction data per tool, a general-purpose robot arm can learn complex long-horizon soft object manipulation tasks, such as making dumplings and alphabet letter cookies. Extensive evaluations show that RoboCook substantially outperforms state-of-the-art approaches, exhibits robustness against severe external disturbances, and demonstrates adaptability to different materials.

研究の動機と目的

• 複数のツールを用いた長時間にわたる、変形性がありエラストープラスティックな物体の自律的ロボット操作を可能にすること。
• 複雑な操作タスクにおけるツール選択と長期的物理的計画の課題に対処すること。
• 人間のデモンストレーションに依存するのを減らし、最小限の実世界インタラクションデータからの自己教師付き学習を活用すること。
• 実世界の視覚観測データに基づいて直接訓練されたGNNを用いて、ダイナミクスモデリングにおけるシミュレーションから実世界へのギャップを埋めること。

提案手法

• 変形性のある物体とツールの状態を3次元空間に点群ベースのシーン表現でモデル化する。
• 実世界の動画データで訓練されたグラフニューラルネットワーク（GNN）を用い、ツール-物体相互作用の物理的ダイナミクスを予測する。
• 視覚入力をもとに各タスク段階で最も適切なツールを選択するため、PointNetベースのツール分類器を統合する。
• 学習済みGNNダイナミクスモデルから生成された合成データ上で、ゴール条件付きの自己教師付きポリシー・ネットワークを訓練し、効率的なオンライン推論を実現する。
• 複雑なスキル（つかむ、まっすぐ押す、押しつぶす）のための学習済みポリシーと、単純な動作のための手動で定義されたポリシーを組み合わせる。
• リアルタイムに、認識、ダイナミクス予測、ツール選択、アクション実行を統合するクローズド・ループ制御システムを採用する。

実験結果

リサーチクエスチョン

• RQ1 1ツールあたり20分の実世界データのみを用いて、ロボットがエラストープラスティック物体を複数のツールを用いて長時間にわたる操作を学習できるか？
• RQ2 実世界の視覚観測データで訓練されたGNNベースのダイナミクスモデルは、変形性操作における複雑なツール-物体相互作用を予測するのにどの程度有効か？
• RQ3 実世界で訓練されたダイナミクスモデルから生成された合成データに基づく自己教師付きポリシー学習は、CEM や RL といったオンライン計画手法を上回るか？
• RQ4 ダイナミクスモデリングとツール分類の統合は、複数のツールを用いた状況でのタスク成功確率をどの程度向上させるか？
• RQ5 再トレーニングなしで、さまざまな素材や形状に一般化できる程度はどの程度か？

主な発見

• RoboCookは、餃子作りとアルファベットクッキー作りの両タスクで、RoboCraft や CEM+GNN、RL+GNN といった最先端手法を統計的に有意に上回った。
• PointNetベースのアーキテクチャを用いたツール分類で99.6％の正確性を達成し、照明や色の変化に対しても頑健であることが示された。
• 人間による評価では、RoboCookの出力が92％の確率で正しいアルファベットの文字として認識され、ベースラインを上回った。
• 外部からの強い摂動が加えられても高い成功率を維持しており、リアルタイム実行中の高い耐障害性を示した。
• 合成データ上で訓練された自己教師付きポリシーは、CEM や RL といったオンライン計画手法よりも高速かつ効果的な動作合成を可能にした。
• 再トレーニングなしで、さまざまな生地の種類に対して同じ形状を正確に成形することができ、素材の多様性に一般化できた。