[論文レビュー] kPAM: KeyPoint Affordances for Category-Level Robotic Manipulation

Lucas Manuelli, Wei Gao+2 more|arXiv (Cornell University)|Mar 15, 2019

Multimodal Machine Learning Applications被引用数 55

ひとこと要約

kPAM は、意味的な3Dキーポイントを柔軟なオブジェクト表現として使用するカテゴリレベルの操作フレームワークを導入します。知覚、キーポイント検出、最適化ベースのアクション計画、グリッピングを分解して、未見のカテゴリオブジェクトを信頼性高く操作します。

ABSTRACT

We would like robots to achieve purposeful manipulation by placing any instance from a category of objects into a desired set of goal states. Existing manipulation pipelines typically specify the desired configuration as a target 6-DOF pose and rely on explicitly estimating the pose of the manipulated objects. However, representing an object with a parameterized transformation defined on a fixed template cannot capture large intra-category shape variation, and specifying a target pose at a category level can be physically infeasible or fail to accomplish the task -- e.g. knowing the pose and size of a coffee mug relative to some canonical mug is not sufficient to successfully hang it on a rack by its handle. Hence we propose a novel formulation of category-level manipulation that uses semantic 3D keypoints as the object representation. This keypoint representation enables a simple and interpretable specification of the manipulation target as geometric costs and constraints on the keypoints, which flexibly generalizes existing pose-based manipulation methods. Using this formulation, we factor the manipulation policy into instance segmentation, 3D keypoint detection, optimization-based robot action planning and local dense-geometry-based action execution. This factorization allows us to leverage advances in these sub-problems and combine them into a general and effective perception-to-action manipulation pipeline. Our pipeline is robust to large intra-category shape variation and topology changes as the keypoint representation ignores task-irrelevant geometric details. Extensive hardware experiments demonstrate our method can reliably accomplish tasks with never-before seen objects in a category, such as placing shoes and mugs with significant shape variation into category level target configurations.

研究の動機と目的

• カテゴリポーズの代わりに意味的な3Dキーポイントでオブジェクトを表現することによりカテゴリレベルの操作を実現する。
• インスタンスセグメンテーション、3Dキーポイント検出、最適化ベースのアクション計画、グリーピングを組み合わせたモジュール化パイプラインを提供する。
• 大きなカテゴリ内変動とトポロジー変化に対して頑健で、センチメートルレベルの精度を達成する。
• 未見のカテゴリインスタンス（例：靴やマグカップ）での実機結果を示す。

提案手法

• カテゴリの意味的3Dキーポイントを定義し、これらのキーポイントに対する幾何学的コストと制約を用いてタスクを指定する。
• RGB-D からのキーポイントを最先端の3Dキーポイント検出器で検出し、インスタンスセグメンテーション（Mask R-CNN）と統合する。
• 操作をSE(3)上の最適化として定式化し、f(T_action; p) を最小化し、g(T_action; p)=0 および h(T_action; p)≤0 を満たす。
• キーポイントに基づくターゲットを整列させつつ、拘束（位置、姿勢、平面接触など）を満たすよう剛性なロボットアクション T_action を解く。
• 深度データからの局所密な幾何学的事前知識を用いて掴んだ対象物に対して計算済みアクションを適用するよう、把握からグリープ計画を行う。
• キーポイントを疎ながらもタスク関連な表現として用い、グリープ実行時には密な幾何情報のみを用いる。

実験結果

リサーチクエスチョン

• RQ1 意味的3Dキーポイントと幾何学的コストを用いてタスクを記述することでカテゴリレベルの操作を達成できるか。
• RQ2 大きなカテゴリ内変動を持つ未見インスタンスに対して、キーポイントベースのパイプラインはどれだけ一般化できるか。
• RQ3 ポーズベースの方法と比較して、キーポイントベースのターゲット指定は操作の実現可能性と精度にどのような影響を与えるか。
• RQ4 靴やマグカップのようなタスクで、実機上のキーポイント検出、最適化計画、グリーピングを統合するとどのように性能を発揮するか。

主な発見

• フレームワークは未見のカテゴリインスタンスにおいても操作のセンチメートル級の精度を達成する。
• 実機実験では、靴をラックに置くタスクで100回の試行を通じて成功率が97%を超えた。
• マグカップを棚に直立させて置くタスクは、すべての試行でターゲットの位置に5 cm以内に到達し、うち2つの試行を除いて達成された（1つの失敗は逆さのマグカップに起因）。
• キーポイントベースのターゲットは、3つ以上のキーポイントを使用する場合、ポーズベースの操作と同等の性能を発揮できるが、ラック上でのマグカップの取っ手の整列のような物理的に不合理またはタスクと矛盾する状態を防ぐ柔軟な制約を提供する。
• このパイプラインは、インスタンスセグメンテーション、3Dキーポイント検出、SE(3)最適化、グリップ計画を統合して、知覚から行動へと移行する多用途なシステムを形成する。