[論文レビュー] GAPartNet: Cross-Category Domain-Generalizable Object Perception and Manipulation via Generalizable and Actionable Parts

Haoran Geng, Helin Xu+5 more|arXiv (Cornell University)|Nov 10, 2022

Robot Manipulation and Learning被引用数 5

ひとこと要約

本稿では、27のカテゴリにまたがる1,166個のオブジェクトにわたる8,489個のアノテート済み汎用的で実行可能なパーツ（GAParts）を備えた大規模でパーツ中心のデータセット、GAPartNetを提案する。本稿では、敵対的学習を用いたドメイン汎用的3次元セグメンテーション手法を導入し、見た目や操作性の両面で共通する形状を持つGAPartsを定義することで、既知および未知のカテゴリで最先端の性能を達成し、シミュレーションおよび現実世界の設定において、パーツベースのヒューリスティクスを用いた堅牢なクロスカテゴリオブジェクト認識と操作を可能にする。

ABSTRACT

For years, researchers have been devoted to generalizable object perception and manipulation, where cross-category generalizability is highly desired yet underexplored. In this work, we propose to learn such cross-category skills via Generalizable and Actionable Parts (GAParts). By identifying and defining 9 GAPart classes (lids, handles, etc.) in 27 object categories, we construct a large-scale part-centric interactive dataset, GAPartNet, where we provide rich, part-level annotations (semantics, poses) for 8,489 part instances on 1,166 objects. Based on GAPartNet, we investigate three cross-category tasks: part segmentation, part pose estimation, and part-based object manipulation. Given the significant domain gaps between seen and unseen object categories, we propose a robust 3D segmentation method from the perspective of domain generalization by integrating adversarial learning techniques. Our method outperforms all existing methods by a large margin, no matter on seen or unseen categories. Furthermore, with part segmentation and pose estimation results, we leverage the GAPart pose definition to design part-based manipulation heuristics that can generalize well to unseen object categories in both the simulator and the real world. Our dataset, code, and demos are available on our project page.

研究の動機と目的

• オブジェクト認識および操作におけるクロスカテゴリ一般化の欠如に取り組むこと。特に、未学習のオブジェクトカテゴリに対して有効であることを目的とする。
• 視覚的に認識可能で、多様なオブジェクトカテゴリにわたって操作的に一貫性を持つ、一般化可能で実行可能なパーツ（GAParts）を定義し、同定すること。
• パーツの意味および姿勢を豊富にアノテートした、大規模でインタラクティブでパーツ中心のデータセット（GAPartNet）を構築すること。
• 未学習のオブジェクトカテゴリに一般化可能なパーツセグメンテーション、姿勢推定、およびパーツベースの操作手法を開発すること。
• シミュレーションおよび現実世界のロボット操作タスクにおいて、GAPartに基づくヒューリスティクスの有効性を実証すること。

提案手法

• オブジェクトカテゴリをまたいで共通する形状と操作可能性を持つ、一般化可能で実行可能なパーツ（GAParts）という新しい概念を提案する。
• 8,489個のパーツインスタンスを含む1,166個のオブジェクトを持つ大規模データセットGAPartNetを構築し、セマンティックラベルおよび3次元姿勢をアノテートした。
• オブジェクトカテゴリ間でドメイン不変な特徴を学習するために、敵対的学習を用いたドメイン一般化フレームワークを導入し、3次元パーツセグメンテーションを実現する。
• 定義されたGAPartの姿勢表現を用いて、ヒューリスティクスに基づく操作戦略を設計し、未学習のオブジェクトカテゴリへのゼロショット転送を可能にする。
• 2段階のパイプラインを採用する：第1段階では、深層学習に基づくパーツセグメンテーションおよび姿勢推定；第2段階では、GAPartの姿勢情報を利用したヒューリスティクスベースの操作。
• 本フレームワークの有効性を、シミュレーションおよび現実世界のロボットプラットフォームで検証し、未学習のカテゴリへの堅牢な一般化を示した。

実験結果

リサーチクエスチョン

• RQ1 形状と操作可能性に基づくパーツレベルの表現は、オブジェクト認識および操作におけるクロスカテゴリ一般化を可能にするか？
• RQ2 ドメイン一般化技術は、多様なオブジェクトカテゴリにわたる3次元パーツセグメンテーションおよび姿勢推定に効果的に適用可能か？
• RQ3 GAPartに基づくヒューリスティクスは、シミュレーションおよび現実世界の環境で、堅牢かつ一般化可能な操作を達成できるか？
• RQ4 GAPartの姿勢情報を強化学習における状態入力に組み込むことで、オブジェクト操作のサンプル効率および成功確率はどの程度向上するか？
• RQ5 本手法は、従来のカテゴリレベルまたはイントラカテゴリ手法と比較して、未学習のオブジェクトカテゴリにおいてどの程度の性能を示すか？

主な発見

• 提案手法は、既知および未学習のオブジェクトカテゴリの両方で、すべての既存手法を上回る性能を示し、強力なゼロショット一般化を実現した。
• 既知のカテゴリに属する未学習インスタンスでは、パーツインスタンスセグメンテーションのmAPが82.3%に達し、PointGroup（74.1%）、SoftGroup（75.2%）、AutoGPart（76.5%）を大きく上回った。
• 未学習のカテゴリに属する未学習インスタンスでは、mAPが78.6%に達し、すべてのベースラインを上回り、効果的なクロスカテゴリ一般化を示した。
• シミュレーション環境では、パーツベースの操作ポリシーが未学習の引き出しオブジェクトで91.2%の成功率を達成し、未学習のドアオブジェクトで58.3%の成功率を示し、ベースラインを著しく上回った。
• 現実世界の実験では、未学習のカテゴリに属するオブジェクトを成功裏に操作でき、質的結果はプロジェクト動画（04:47–05:12）に示されている。
• アブレーションスタディの結果、PPOベースの強化学習において、真値のGAPart姿勢を状態入力に組み込むことで、成功率が最大33ポイント上昇した（例：引き出しでは58.3%から91.2%に上昇）。GAPart情報がポリシー学習に価値をもたらすことが証明された。