[論文レビュー] VisuoSpatial Foresight for Physical Sequential Fabric Manipulation

Ryan Hoque, Daniel Seita+7 more|arXiv (Cornell University)|Feb 19, 2021

Advanced Vision and Imaging参考文献 82被引用数 7

ひとこと要約

本論文は、模擬RGBDデータから視覚的ダイナミクスを学習するためのコーナーに偏ったアクションデータセットを用いて、ロボットの布地操作のための改善されたフレームワークであるVisuoSpatial Foresight 2.0 (VSF-2.0) を提案する。データ収集、ダイナミクスモデリング、コスト関数、最適化の向上により、VSF-2.0は、たった2つのアクションで物理的布地折り畳みにおいて90%の成功を達成でき、過去の研究では実ロボットで失敗していた課題を克服した。

ABSTRACT

Robotic fabric manipulation has applications in home robotics, textiles, senior care and surgery. Existing fabric manipulation techniques, however, are designed for specific tasks, making it difficult to generalize across different but related tasks. We build upon the Visual Foresight framework to learn fabric dynamics that can be efficiently reused to accomplish different sequential fabric manipulation tasks with a single goal-conditioned policy. We extend our earlier work on VisuoSpatial Foresight (VSF), which learns visual dynamics on domain randomized RGB images and depth maps simultaneously and completely in simulation. In this earlier work, we evaluated VSF on multi-step fabric smoothing and folding tasks against 5 baseline methods in simulation and on the da Vinci Research Kit (dVRK) surgical robot without any demonstrations at train or test time. A key finding was that depth sensing significantly improves performance: RGBD data yields an 80% improvement in fabric folding success rate in simulation over pure RGB data. In this work, we vary 4 components of VSF, including data generation, visual dynamics model, cost function, and optimization procedure. Results suggest that training visual dynamics models using longer, corner-based actions can improve the efficiency of fabric folding by 76% and enable a physical sequential fabric folding task that VSF could not previously perform with 90% reliability. Code, data, videos, and supplementary material are available at https://sites.google.com/view/fabric-vsf/.

研究の動機と目的

• タスク固有のデモンストレーションを用いずに、順次的タスクにわたるロボットの布地操作ポリシーの一般化を解決すること。
• 特にダイナミクスギャップと高いデータ要件という点で、先行する視覚的フォアキャスト手法が実世界の布地操作で抱える限界を克服すること。
• データ生成、ダイナミクスモデリング、コスト関数、最適化のコアコンponentsを変更することで、布地折り畳みにおける一般化性と効率性を向上させること。
• 自己教師付きシミュレーションデータとシミュレーションから実世界への転送のみを用いて、複雑な布地操作タスクの信頼性ある物理的実行を可能にすること。
• コーナーに偏った、長距離の引張りアクションが視覚的ダイナミクス学習と下流タスクのパフォーマンスを顕著に向上させることを示すこと。

提案手法

• より長い引張り距離と、布地のコーナーをピックアップする傾向を有する、9,932エピソードを含む新しいデータセット「Fabric-CornerBias」を導入した。
• SVG（Vid-MAE）モデルをアクションに依存する形に拡張し、シミュレーション内での視覚的空間的ダイナミクス予測の正確性を向上させた。
• L2ピクセル損失を学習されたコスト関数に置き換え、予測画像とターゲット画像の一致を高めることで、計画の正確性を向上させた。
• モデル予測制御（MPC）における最適化にCMA-ESを採用し、計画の収束性とロバスト性を向上させた。
• ドメインランダマイゼーションとRGBD観測を用いて、実世界での微調整なしにシミュレーションから実世界への転送を可能にした。
• 色マスクを用いたリアルタイムの状態再登録を伴うオープンループ計画を適用し、初期状態のずれを是正した。

実験結果

リサーチクエスチョン

• RQ1 データ収集中にコーナーに偏った長距離引張りアクションを使用することで、布地操作タスクにおける視覚的フォアキャストのパフォーマンスが顕著に向上するか？
• RQ2 アクションに依存する視覚的ダイナミクスモデルは、シミュレーションから実世界への布地折り畳みにおいて、標準的な動画予測モデルを上回るか？
• RQ3 L2ピクセル損失を学習されたコスト関数に置き換えることで、布地操作における計画の効率性と成功確率が向上するか？
• RQ4 CMA-ES最適化は、MPCにおける布地折り畳みにおいて、標準的手法（CMA-ESや勾配ベースのアプローチ）を上回るか？
• RQ5 新規データセットとモデル設定は、過去のVSFバージョンでは達成できなかった物理的折り畳みタスクの実行をどの程度可能にするか？

主な発見

• Fabric-CornerBiasデータセットを用いた学習により、シミュレーション内での布地折り畳み効率が、先行手法と比較して76%向上した。
• VSF-2.0は、da Vinci外科手術ロボット上でも物理的布地折り畳みで90%の成功率を達成した。これは、以前のVSF-1.0バージョンでは失敗していたタスクである。
• シミュレーション内では、VSF-2.0は20回の成功試行のうち19回で平均2アクションで布地を折り畳んでおり、計画の高効率性を示している。
• VSF-2.0では深度センシングを活用したことで、シミュレーション内での布地折り畳み成功確率が純粋なRGBデータと比較して80%向上した。
• コーナーに偏ったアクションとアクションに依存するダイナミクスモデリングの組み合わせにより、信頼性ある物理的実行が可能になったが、過去の手法はダイナミクスギャップと不正確な制御により失敗していた。
• 新規データセットとモデル設定により、時間の経過とともにダイナミクスギャップが低減し、長時間スパンのタスクにおける誤差の累積を防いだ。