[論文レビュー] Learning Dense Visual Correspondences in Simulation to Smooth and Fold Real Fabrics

Aditya Ganapathi, Priya Sundaresan+11 more|arXiv (Cornell University)|Mar 28, 2020

Robot Manipulation and Learning参考文献 46被引用数 16

ひとこと要約

本論文は、RGBデータとディープラーニングを用いて、実際の布の操作における密な視覚的対応関係を学習するシミュレーションベースのフレームワークを提案する。これらの対応関係を活用することで、実世界の微調整やタスク固有の再訓練を一切行わずに、2つのロボットプラットフォーム上で10の多様な平滑化および折りたたみタスクをワンショットで模倣可能となる。平均成功率は80.3%に達する。

ABSTRACT

Robotic fabric manipulation is challenging due to the infinite dimensional configuration space, self-occlusion, and complex dynamics of fabrics. There has been significant prior work on learning policies for specific deformable manipulation tasks, but comparatively less focus on algorithms which can efficiently learn many different tasks. In this paper, we learn visual correspondences for deformable fabrics across different configurations in simulation and show that this representation can be used to design policies for a variety of tasks. Given a single demonstration of a new task from an initial fabric configuration, the learned correspondences can be used to compute geometrically equivalent actions in a new fabric configuration. This makes it possible to robustly imitate a broad set of multi-step fabric smoothing and folding tasks on multiple physical robotic systems. The resulting policies achieve 80.3% average task success rate across 10 fabric manipulation tasks on two different robotic systems, the da Vinci surgical robot and the ABB YuMi. Results also suggest robustness to fabrics of various colors, sizes, and shapes. See https://tinyurl.com/fabric-descriptors for supplementary material and videos.

研究の動機と目的

• 布の色、サイズ、初期配置の違いに対して一般化可能な布操作ポリシーの課題に対処すること。
• 視覚的対応関係を用いて、シミュレーションから実ロボットへの効率的かつタスクに依存しないポリシー移行を可能にすること。
• 認識と制御を分離することで、再訓練を伴わず異なるロボット間での一般化を可能にすること。
• シミュレーションで多様な布の配置を生成するスケーラブルなパイプラインを開発し、記述子の一般化を向上させること。
• 1つのタスクごとに1回のデモのみを用いて、平滑化や折りたたみなどのマルチステップタスクで高い成功率を達成すること。

提案手法

• Blenderを用いて多様な配置の布の合成RGB画像を生成し、その上で密なオブジェクト記述子を学習する。
• シミュレーションデータ収集時にドメインランダマイゼーションを活用し、色、テクスチャ、スケールの変動に対する耐性を高める。
• 学習された視覚的対応関係を用いて、異なる布の配置間で幾何的に同等の行動を計算する。
• 対応関係フィールドを用いて、ある配置における人間のデモを、新しい配置における同等の行動にマッピングする。
• 認識（記述子ネットワーク）と制御（ポリシー）を分離し、異なるロボットシステム間で再利用可能にする。
• 物理的展開の前に操作ポリシーの妥当性を検証するため、シミュレーション内にテストベッドを実装する。

Figure 1 : We use learned visual correspondences across different fabric configurations to perform a variety of fabric manipulation tasks on the ABB YuMi (top) and the da Vinci Research Kit (bottom). Given a single demonstration of smoothing or folding, the robot uses the learned correspondences to

実験結果

リサーチクエスチョン

• RQ1 シミュレーションで学習した密な視覚的対応関係は、色、サイズ、形状の異なる布の属性に一般化可能か？
• RQ2 ある布の配置における1回のデモを、学習された対応関係を用いて、別の配置における同じタスクの有効なポリシーに変換できるか？
• RQ3 シミュレーションで訓練された1つの認識モジュールが、再訓練なしに異なる実世界のロボットプラットフォームにどの程度移行可能か？
• RQ4 実世界の設定におけるカメラの姿勢、照明、ワークスペースの幾何的形状の変化に対して、学習された対応関係はどの程度頑健か？
• RQ5 本アプローチは、タスク固有の微調整なしに、多様なマルチステップ布操作タスクで高い成功率を達成できるか？

主な発見

• 本手法は、ABB YuMiおよびda Vinci Research Kitの両方で10の異なる布操作タスクにおいて平均80.3%のタスク成功率を達成した。
• 平滑化ポリシーは、dVRKでは平均で68.4%から86.4%へ、YuMiでは71.4%から83.2%へと布のカバー率を向上させた。
• dVRKでは単一アクションの折りたたみタスク（SF, TSTSF）で100%の成功率を達成したのに対し、YuMiではほとんどの単一および二アクションタスクで90%以上を達成した。
• 最も頻度の高い失敗モードは、特にマルチアクションタスクにおけるグリップの不安定さであり、これにはより優れたグリッピング戦略の開発が求められる。
• カメラの姿勢、照明、ワークスペース寸法の違いにもかかわらず、学習された記述子は異なるロボットプラットフォーム間で頑健に一般化された。
• 本フレームワークにより、二重トライアングル折りたたみや、平滑化の後に折りたたみを行うような複雑なタスクについても、未観測の布のバリエーションに対して一貫した性能を発揮するワンショットインスティテーションが可能となった。

Figure 2 : Fabric Meshes: Examples of the meshes generated in Blender for both square cloth (left) and t-shirts (right). The ground-truth vertices are highlighted in the second and fourth columns.