[論文レビュー] CaTGrasp: Learning Category-Level Task-Relevant Grasping in Clutter from Simulation

Bowen Wen, Wenzhao Lian+2 more|arXiv (Cornell University)|Sep 19, 2021

Robot Manipulation and Learning被引用数 4

ひとこと要約

CaTGrasp は、密度の高いごみの中でのカテゴリーレベルのタスク関連 grasping を学習するためのシミュレーション専用フレームワークを提案する。新しい非一様正規化物体座標空間（NUNOCS）を用いて、多様な物体インスタンス間でタスク関連 grasping 知識の高密度な対応と転送を可能にする。実世界のテストでは 93.3% のタスク関連 grasping 成功率を達成し、実世界の微調整なしにベースラインを著しく上回った。

ABSTRACT

Task-relevant grasping is critical for industrial assembly, where downstream manipulation tasks constrain the set of valid grasps. Learning how to perform this task, however, is challenging, since task-relevant grasp labels are hard to define and annotate. There is also yet no consensus on proper representations for modeling or off-the-shelf tools for performing task-relevant grasps. This work proposes a framework to learn task-relevant grasping for industrial objects without the need of time-consuming real-world data collection or manual annotation. To achieve this, the entire framework is trained solely in simulation, including supervised training with synthetic label generation and self-supervised, hand-object interaction. In the context of this framework, this paper proposes a novel, object-centric canonical representation at the category level, which allows establishing dense correspondence across object instances and transferring task-relevant grasps to novel instances. Extensive experiments on task-relevant grasping of densely-cluttered industrial objects are conducted in both simulation and real-world setups, demonstrating the effectiveness of the proposed framework. Code and data are available at https://sites.google.com/view/catgrasp.

研究の動機と目的

• 人為的アノテーションや実世界データ収集なしに、密度の高いごみの中での産業用オブジェクトのタスク関連 grasping を学習する課題に対処すること。
• 同じカテゴリ内での形状やサイズの変動がある、未観測の新しいオブジェクトインスタンスへの一般化を可能にすること。
• スパースなキーポイントアノテーションに依存せずに、3次元形状全体にわたる高密度な点単位のタスク関連性をモデル化すること。
• 信頼性の高い高密度な対応を可能にする、オブジェクト中心の標準化表現を構築すること。
• シミュレーション内でエンドツーエンドに全フレームワークを訓練し、微調整なしに実世界に直接展開すること。

提案手法

• 大規模な形状変動を持つ3次元オブジェクトインスタンス間で細粒度の高密度な対応を可能にする、非一様スケーリングされた標準座標空間（NUNOCS）を導入する。
• シミュレーション内での自己教師付きハンドオブジェクトインタラクションを活用し、後続タスク実行の成功確率を示す高密度なタスク関連接触ヒートマップを生成する。
• 学習済みのグリップコードブックと NUNOCS を用いたカテゴリーレベルの知識転送を組み合わせたハイブリッドグリップ提案機構を採用し、カバレッジと安定性を向上させる。
• シミュレーションで生成された合成ラベル（幾何的安定性とタスク関連性の両方の信号を含む）を用いた教師あり学習を実施する。
• 教師ありと自己教師ありの目的関数を組み合わせて、シミュレーション内でエンドツーエンドに全システムを訓練し、カテゴリーレベルの事前知識を学習する。
• 学習済みのグリップポリシーを再トレーニングや3次元モデルの取得なしに、実世界の未学習のオブジェクトインスタンスに直接転送する。

実験結果

リサーチクエスチョン

• RQ1 人為的ラベルや実世界データ収集なしに、シミュレーション内でタスク関連 grasping を効果的に学習できるか？
• RQ2 標準化された3次元表現が、同じカテゴリ内での多様なオブジェクトインスタンス間で信頼性の高い高密度な対応を可能にするか？
• RQ3 複雑なごみの中でのシナリオにおいて、点単位の高密度なタスク関連性をモデル化することが、スパースキーポイントベースのアプローチを上回るか？
• RQ4 シミュレーションで訓練されたポリシーが、未学習の寸法や形状変動を持つ実世界の新しいオブジェクトインスタンスに一般化できるか？
• RQ5 提案された NUNOCS 表現は、標準的な NOCS に比べて、タスク関連 grasping のための知識転送をどの程度向上させるか？

主な発見

• 提案手法は実世界テストで 93.3% のタスク関連 grasping 成功率を達成し、PointNetGPD や Ours-NA を含むすべてのベースラインを著しく上回った。
• シミュレーション内では 94.5% のタスク関連 grasping 成功率を達成し、合成データから実世界への展開における優れた一般化性能を示した。
• NUNOCS 表現は標準的な NOCS に比べて優れた知識転送を実現したが、特に HMN2 のような高変動性を持つオブジェクトでは性能差が顕著に現れた。
• グリップコードブックによるカバレッジのおかげで、遮蔽や複雑な領域を効果的にカバーし、安定したグリップ成功率（83.3%）を維持した。
• シミュレーションと実世界の性能差が最も小さかったのはスクリューカテゴリであったが、小さな反射性の高い物体や簡単に転がりやすい物体の課題のため、依然として顕著な差が見られた。
• アブレーションスタディにより、高密度な接触ヒートマップと NUNOCS 表現が高タスク関連性を達成するために不可欠であることが確認され、Ours-NOCS や Ours-NA は顕著に低い成功率を示した。