[論文レビュー] Self-Supervised Goal-Conditioned Pick and Place

Coline Devin, Payam Rowghanian+3 more|arXiv (Cornell University)|Aug 26, 2020

Robot Manipulation and Learning参考文献 11被引用数 4

ひとこと要約

本論文は、ラベルなしピックアンドプレースインタラクションからピクセル単位のオブジェクト埋め込みを自己教師付きで学習するフレームワークを提案し、人間によるアノテーションデータが不要な条件下でゴール条件付きのグリップと配置を可能にする。ワristカメラ、グリップバイン、プレースバインの画像に対してコントラスト学習を適用することで、未知のオブジェクトやテクスチャに一般化可能な最適なグリップおよび配置位置を予測する。未学習のテクスチャクラスでは70%の正確性を達成する。

ABSTRACT

Robots have the capability to collect large amounts of data autonomously by interacting with objects in the world. However, it is often not obvious \emph{how} to learning from autonomously collected data without human-labeled supervision. In this work we learn pixel-wise object representations from unsupervised pick and place data that generalize to new objects. We introduce a novel framework for using these representations in order to predict where to pick and where to place in order to match a goal image. Finally, we demonstrate the utility of our approach in a simulated grasping environment.

研究の動機と目的

• ラベルなしのロボットインタラクションデータから視覚的オブジェクト表現を自己教師付きで学習する手法を開発すること。
• 人間によるセグメンテーションやCADモデルのアノテーションが不要な条件下で、ゴール条件付きのグリップと配置を可能にすること。
• ピクセルレベルの監視情報のみを用いて、グリップと配置予測の両方をサポートする統一された埋め込み空間を学習すること。
• トレーニング中に見られなかった新しいオブジェクトやテクスチャへの一般化を評価すること。
• プライベートな監視情報なしに、現実のロボットデータを視覚的表現学習に活用する可能性を示すこと。

提案手法

• モデルは2つの完全畳み込み型ResNet-35エンコーダーを用いる：1つはバイン画像（グリップおよびプレース用）、もう1つはグリップされたオブジェクトのワristカメラ画像用。
• グリップポイント、プレースポイント、エンドエフェクターピクセルの埋め込みを類似させる一方で、他のピクセルを遠ざけるようにコントラスト学習を適用する。
• 近接するピクセルの崩壊を避けるために、フル画像ネガティブサンプリングまたはガンマ分布に基づくサンプリングを用いる。
• ワristカメラからバイン、およびバイン同士の比較（グリップ：プレース）を含む、統合されたコントラスト損失でモデルを訓練する。
• グリップおよびプレース位置は、ワristカメラの埋め込みと各ピクセルにおけるバインの埋め込みのドット積を最大化することで予測する。
• ランダムな照明と「Describable Textures」データセットのテクスチャ付きオブジェクトを用いた、シミュレーテッドロボット環境をフレームワークで使用する。

実験結果

リサーチクエスチョン

• RQ1 人間によるアノテーションなしに、自己教師付きのロボットインタラクションからピクセル単位のオブジェクト埋め込みを学習できるか？
• RQ2 このような埋め込みは、トレーニング時に見られなかった新しいオブジェクトやテクスチャに一般化できるか？
• RQ3 グリップ、プレース、ワristカメラの画像に対するコントラスト学習により、正確なゴール条件付きピックアンドプレースが可能になるか？
• RQ4 ネガティブサンプリング戦略の違いが、学習された埋め込みの品質にどのように影響するか？
• RQ5 1つの統一された埋め込み空間が、ゴール条件付き設定におけるグリップとプレース予測の両方をサポートできるか？

主な発見

• 未学習のテクスチャクラスでは70%のグリップおよびプレースの正確性を達成し、強力なゼロショット一般化を示している。
• 10種類ではなく50種類のテクスチャで学習させることで、すべての検証セット（見覚えのあるテクスチャを含む）で性能が向上した。
• ガンマ分布に基づくネガティブサンプリングとグリップ：プレースのコントラスト損失の組み合わせが最良の性能を示し、ベースラインを上回った。
• トレーニングセットでは83%の性能を示したが、同じテクスチャの検証セットでは69%に低下したが、未学習のテクスチャでは約70%で安定した。
• 学習された類似度メトリックは、オブジェクト内の空間的位置に非常に敏感であり、正確なグリップおよびプレースポイントの選択を可能にした。
• 追加のデータ収集や特権情報なしに、フレームワークは新しいオブジェクトやテクスチャに一般化した。