[論文レビュー] Learning Keypoints from Synthetic Data for Robotic Cloth Folding

Thomas Lips, Victor-Louis De Gusseme+1 more|arXiv (Cornell University)|May 13, 2022

3D Shape Modeling and Analysis被引用数 8

ひとこと要約

本論文は、Blenderを用いた手続き的3Dシーン合成により生成された完全な合成データを用いて、ロボットによる布の折りたたみのためのキーポイント検出用畳み込みニューラルネットワーク（CNN）の学習を提案する。本システムは、単一アームロボットにおいてゼロショットのシミュレーションから実世界への転送を実施し、グリップ成功率77%、折りたたみ成功率53%を達成した。これは、極めて少ない実データのアノテーションで、合成データが現実世界の布の操作に効果的にキーポイント検出器を訓練できることを示している。

ABSTRACT

Robotic cloth manipulation is challenging due to its deformability, which makes determining its full state infeasible. However, for cloth folding, it suffices to know the position of a few semantic keypoints. Convolutional neural networks (CNN) can be used to detect these keypoints, but require large amounts of annotated data, which is expensive to collect. To overcome this, we propose to learn these keypoint detectors purely from synthetic data, enabling low-cost data collection. In this paper, we procedurally generate images of towels and use them to train a CNN. We evaluate the performance of this detector for folding towels on a unimanual robot setup and find that the grasp and fold success rates are 77% and 53%, respectively. We conclude that learning keypoint detectors from synthetic data for cloth folding and related tasks is a promising research direction, discuss some failures and relate them to future work. A video of the system, as well as the codebase, more details on the CNN architecture and the training setup can be found at https://github.com/tlpss/workshop-icra-2022-cloth-keypoints.git.

研究の動機と目的

• ロボットによる布の操作のための実世界のアノテート済みデータの高コストと希少性に対処するため、合成データを活用すること。
• 手続き的データ生成を用いたキーポイント検出におけるゼロショットのシミュレーションから実世界への転送の可能性を評価すること。
• 合成画像のみで学習されたCNNベースのキーポイント検出器の性能と失敗モードを、現実世界のロボットによる折りたたみタスクで分析すること。
• 一般化に影響を与えるドメインシフト要因（例：照明、不要な物体、素材特性）を同定し、将来の合成データ設計の指針とすること。

提案手法

• BlenderとBlenderProcを用いた手続き的合成RGB画像の生成。ランダムに設定されたタオルの幾何形状、素材（HSVカラー＋ペリンノイズ）、照明、カメラの姿勢、および不要な物体を含む。
• 単一のRGB画像から、タオルの角（セマンティックキーポイント）の2次元ヒートマップを予測するCNNの学習。教師信号のアノテーションは、合成シーンの幾何形状から導出される。
• 訓練済みキーポイント検出器を、実世界の単一アームロボット（Robotiq 2F-85グリッパーとZED2iステレオカメラを装備）にゼロショットでデプロイ。
• 検出されたキーポイントに基づくスクリプト化されたオープンループのグリップおよび準静的折りたたみ軌道の実行。リアルタイム推論と画像前処理（256×256にクロップおよびリサイズ）を実施。
• 現実性のギャップを低減するため、背景テクスチャのランダム化や多様な照明条件を用いたドメインランダマイゼーション技術の活用。
• 自然光、LED照明、不要な物体の有無、非一様なテクスチャを持つ分布外のタオルなど、複数の現実世界の条件で評価を実施。

実験結果

リサーチクエスチョン

• RQ1 合成データのみで学習されたキーポイント検出器は、現実世界のロボットによる布の折りたたみに十分な精度を達成できるか？
• RQ2 照明の変動や不要な物体などの現実世界のドメインシフトに対して、ゼロショットのシミュレーションから実世界への転送性能はどの程度頑健か？
• RQ3 合成データで学習された検出器を用いたグリップおよび折りたたみ実行における主な失敗要因は何か？
• RQ4 素材特性やタオルの幾何形状（例：部分的な折りたたみ、非一様なテクスチャ）は、検出および操作性能にどのように影響を与えるか？

主な発見

• 合成データからの強力な一般化を示し、様々な照明条件や不要な物体の存在下でも、分布内タオルでは77%のグリップ成功率を達成した。
• 折りたたみ成功率は53%であったが、80%の失敗は実行中に布が曲がることによる角のずれに起因しており、オープンループ制御の限界を示している。
• 非一様なテクスチャを持つ分布外タオルでは、グリップ成功率が48%に低下し、モデルが予期しない視覚的変動に敏感であることが示された。
• グリップ失敗の主な原因は、不正確または不完全なキーポイント検出であり、合成データ分布に残存する現実性のギャップを示唆している。
• 軽量なタオルでは、摩擦が不十分なため、布が押し出されるだけで持ち上がらず、グリップ失敗が生じた。
• 推論時間は無視できるほど短い（<1秒）であり、グリップおよび折りたたみの全工程は約20秒で実行された。これは、認識処理が性能のボトルネックではないことを示している。