[論文レビュー] Deep Transfer Learning of Pick Points on Fabric for Robot Bed-Making

Daniel Seita, Nawid Jamali+7 more|arXiv (Cornell University)|Sep 26, 2018

Robot Manipulation and Learning被引用数 25

ひとこと要約

本論文では、深層転移学習を用いて深度画像から服地の最適ピックポイントを特定するアプローチを提案し、多様な毛布やロボットに対し堅牢なカバレッジを実現する。2台のモバイルマニピュレータ（HSRとFetch）のデータで訓練されたモデルは、平均で92％の毛布カバレッジを達成しており、これは人間の性能（95％）と同等であり、ベースライン（83％）を著しく上回っている。色や質感の変化があっても、未観測の服地にうまく一般化している。

ABSTRACT

A fundamental challenge in manipulating fabric for clothes folding and textiles manufacturing is computing "pick points" to effectively modify the state of an uncertain manifold. We present a supervised deep transfer learning approach to locate pick points using depth images for invariance to color and texture. We consider the task of bed-making, where a robot sequentially grasps and pulls at pick points to increase blanket coverage. We perform physical experiments with two mobile manipulator robots, the Toyota HSR and the Fetch, and three blankets of different colors and textures. We compare coverage results from (1) human supervision, (2) a baseline of picking at the uppermost blanket point, and (3) learned pick points. On a quarter-scale twin bed, a model trained with combined data from the two robots achieves 92% blanket coverage compared with 83% for the baseline and 95% for human supervisors. The model transfers to two novel blankets and achieves 93% coverage. Average coverage results of 92% for 193 beds suggest that transfer-invariant robot pick points on fabric can be effectively learned.

研究の動機と目的

• ロボット工学における可動性のある服地の操作に取り組むこと、特に服地の状態が極めて不確実で複雑なベッドメイキングのようなタスクにおいて。
• 異なる服地やロボットプラットフォームに一般化できる有効なピックポイントを特定する手法を開発すること。
• 色や質感に依存しない深度画像の利用により、人間の監視やタスク固有のセンサに依存することを減らすこと。
• 1つの学習済みモデルが複数のロボットと服地タイプで高い毛布カバレッジを達成できることを示すこと。
• 深層学習を用いて、ピックポイントに基づくカバレッジ最大化タスクとしてベッドメイキングを形式化すること。

提案手法

• 畳み込みニューラルネットワーク（CNN）を用い、入力として深度画像から最適ピックポイントのピクセル座標（x,y）を予測する。
• 人間のデモンストレーションと四分の一つスケールのベッドでのロボットロールアウトから収集したラベル付きピックポイントを用いて、教師あり学習でモデルを訓練する。
• 異なるロボット（トヨタ HSR と Fetch）のデータを統合することで、一般化性能と耐障害性を向上させる転移学習を適用する。
• 色、質感、パターンに依存しない性質を確保するため、深度画像を用いてRGBベースの特徴に依存しないようにする。
• 予測されたピックポイントに順次グリップを実行し、毛布を未カバーのベッドの隅へ引き寄せる。これによりカバレッジが向上する。
• ベースライン手法は毛布の最も高い点を選択するものであり、人間の監視は性能の基準として用いられる。

実験結果

リサーチクエスチョン

• RQ1 深度画像で訓練された深層学習モデルは、異なるロボットや服地タイプに一般化し、毛布カバレッジのための有効なピックポイントを特定できるか？
• RQ2 実世界のベッドメイキングタスクにおいて、学習済みピックポイントポリシーの性能は、単純な解析的ベースライン（例：最も高い点をピック）や人間の監視と比べてどうか？
• RQ3 RGBベースのモデルと比較して、深度画像を用いることで、色、質感、素材特性が異なる服地間での一般化性能はどの程度向上するか？
• RQ4 2台のロボットのデータで訓練された1つのモデルが、トレーニング時に見られなかった新しい毛布に成功裏に転移できるか？
• RQ5 実世界のデプロイメントにおいて、深層学習の推論パイプラインのタイミングと効率は、物理的グリップ実行やロボットの運動計画と比べてどうか？

主な発見

• 深層転移学習モデルは193回のベッドメイキングロールアウトにおいて平均92％の毛布カバレッジを達成し、ベースライン手法（83％）を著しく上回った。
• モデルの性能は人間の監視者（95％カバレッジ）と同等であり、実世界での有効性が強く示された。
• 色や質感が異なる2種類の新しい毛布（Y&B と ターコイズ）に対しても、微調整なしに93％のカバレッジを達成し、一般化性能が確認された。
• 深度ベースのグリップネットワークはRGBベースのネットワークを上回り、平均86％のカバレッジを達成したが、これは色やパターンに依存しない性質のおかげである。
• ニューラルネットワークの推論時間は短く（平均0.1秒）、リアルタイムデプロイメントに適しているが、物理的グリップ実行とロボットの運動計画が主なパフォーマンスボトルネックであった。
• 統計的検定により、異なる服地タイプからのカバレッジ分布に有意差がないことが確認され、服地の変化に対して堅牢な一般化性能が示された。