[論文レビュー] Model-Driven Feed-Forward Prediction for Manipulation of Deformable Objects

Yinxiao Li, Yan Wang+6 more|arXiv (Cornell University)|Jul 15, 2016

3D Shape Modeling and Analysis参考文献 12被引用数 6

ひとこと要約

本論文は、一般的な衣類の3Dメッシュモデルの事前計算済み物理シミュレーションデータベースを用いて、変形性オブジェクトのロボット操作のためのモデル駆動型フィードフォワード予測フレームワークを提案する。シミュレーテッド深度画像とさまざまなポーズにおける3Dメッシュを活用することで、リアルタイムでのカテゴリおよびポーズ推定、非剛性登録による再把持、最適化された折りたたみ軌道が可能となり、Baxterロボット上で1種類の衣類あたり10回のテスト試行において平均93%の成功率を達成し、一貫した折りたたみ性能を示した。

ABSTRACT

Robotic manipulation of deformable objects is a difficult problem especially because of the complexity of the many different ways an object can deform. Searching such a high dimensional state space makes it difficult to recognize, track, and manipulate deformable objects. In this paper, we introduce a predictive, model-driven approach to address this challenge, using a pre-computed, simulated database of deformable object models. Mesh models of common deformable garments are simulated with the garments picked up in multiple different poses under gravity, and stored in a database for fast and efficient retrieval. To validate this approach, we developed a comprehensive pipeline for manipulating clothing as in a typical laundry task. First, the database is used for category and pose estimation for a garment in an arbitrary position. A fully featured 3D model of the garment is constructed in real-time and volumetric features are then used to obtain the most similar model in the database to predict the object category and pose. Second, the database can significantly benefit the manipulation of deformable objects via non-rigid registration, providing accurate correspondences between the reconstructed object model and the database models. Third, the accurate model simulation can also be used to optimize the trajectories for manipulation of deformable objects, such as the folding of garments. Extensive experimental results are shown for the tasks above using a variety of different clothing.

研究の動機と目的

• 変形性オブジェクトの高次元の変形空間と複雑なダイナミクスによるロボット操作の課題に対処すること。
• 認識および操作のための多様でラベル付けされたトレーニングデータを生成するために、物理ベースのシミュレーションを活用することで、現実世界のデータ収集に依存するのを減らすこと。
• 操作計画のための、現実の衣類とシミュレーテッドモデルとの間の正確な3D再構築と対応関係を確立すること。
• 特に折りたたみのための、シミュレーテッドモデルデータを用いた事前計算による軌道最適化を通じて、一般的な誤りを回避し、成功率を向上させること。
• 1つのシミュレーテッドデータベースを用いて、認識、再把持、運動計画を統合した一貫したフィードフォワードパイプラインを構築すること。

提案手法

• 重力および複数の把持ポーズ下で物理エンジンを用いて、一般的な衣類（セーター、ズボン、ショートパンツ）の3Dメッシュモデルの事前計算済みデータベースを生成する。
• RGB-D入力からのリアルタイム3Dボリュメトリック再構築を実行し、その後、カテゴリおよびポーズ推定のための特徴抽出と、データベース内での類似度マッチングを実施する。
• 再把持のための正確な点対応関係を確立するために、再構築された3Dモデルと類似度の高いシミュレーテッドモデルとの間に非剛性登録を適用する。
• 事前計算されたシミュレーテッドモデルデータを用いて、オフラインで最適化された操作軌道を計算し、折りたたみ成功度を評価するための新しい不一致指標を導入して軌道の最適化を支援する。
• 再把持中の対応関係の正確性を向上させるために、ハイブリッド剛体-変形性登録法を採用し、特に複雑な非剛性形状に対しても有効である。
• 軌道はBaxterロボット上で実行され、センシングを用いた将来的なオンラインエラー回復が可能である。

実験結果

リサーチクエスチョン

• RQ1 事前計算済みの3D衣類モデルのシミュレーションデータベースは、非構造的環境下での変形性オブジェクトのリアルタイム認識およびポーズ推定を改善できるか？
• RQ2 リアルタイム再構築モデルとシミュレーションデータベースモデルとの間の非剛性登録は、変形性衣類のロボット再把持をどの程度向上できるか？
• RQ3 オフラインでのシミュレーションベースの軌道最適化は、実ロボット上での折りたたみタスクの成功率および耐性を顕著に向上させられるか？
• RQ4 ロボット操作における変形性オブジェクトのシミュレーテッドデータと現実世界のデータ収集を比較した場合、どの程度の効率性と一般化性能の差が生じるか？
• RQ5 このフレームワークは、元のデータベースに存在しない新しい衣類へも拡張可能か？また、サイズや素材の変化にはどのように対処するか？

主な発見

• 1種類の衣類あたり10回の試行において平均93%の成功率を達成し、長袖シャツ、中型/大型タオル、小タオルでは10/10の成功を記録した。
• 全衣類の平均折りたたみ時間は97秒で、小タオルなどの小型衣類は最短83秒で完了した。
• 折りたたみ開始時に1回の輪郭フィッティングを実施するだけで、繰り返しフィッティングを避けることで計算時間を削減し、効率的な最適化軌道アプローチの有効性を裏付けた。
• シミュレーテッド軌道によりBaxterロボットは定義済みステップに従って衣類を正しく折りたたむことができたが、モーターコントロールのジッターやアームの落下による失敗が発生したため、ハードウェア制御の改善が求められた。
• ハイブリッド剛体-変形性登録法により、現実とシミュレーテッドモデル間の正確な対応関係が確立され、顕著な変形が生じても効果的な再把持が可能となった。
• 長袖シャツ、ジーンズ、ズボン、タオルなど多様な衣類タイプに対して、サイズや素材の違いに関わらず一貫した性能を示し、フレームワークの頑健性を実証した。