[論文レビュー] kPAM-SC: Generalizable Manipulation Planning using KeyPoint Affordance and Shape Completion

Wei Gao, Russ Tedrake|arXiv (Cornell University)|Sep 16, 2019

Robot Manipulation and Learning被引用数 15

ひとこと要約

本論文は、学習された形状補完から得られる密な幾何と意味的3次元キーポイントを組み合わせたハイブリッドオブジェクト表現を用いる、一般化可能な操作計画フレームワークkPAM-SCを提案する。この手法により、カテゴリ内での大きな形状変動に対しても、手動による介入なしに物理的に妥当な操作を、未知のインスタンスに対して実行可能となる。形状補完とキーポイント検出、運動計画を統合することで、固定テンプレートや6-DOFポーズ推定に依存しない既存の計画法を、カテゴリレベルに一般化し、実機実験において未学習のマグカップ、靴、マグラックのインスタンスに対しても成功したタスク実行を達成した。

ABSTRACT

Manipulation planning is the task of computing robot trajectories that move a set of objects to their target configuration while satisfying physically feasibility. In contrast to existing works that assume known object templates, we are interested in manipulation planning for a category of objects with potentially unknown instances and large intra-category shape variation. To achieve it, we need an object representation with which the manipulation planner can reason about both the physical feasibility and desired object configuration, while being generalizable to novel instances. The widely-used pose representation is not suitable, as representing an object with a parameterized transformation from a fixed template cannot capture large intra-category shape variation. Hence, we propose a new hybrid object representation consisting of semantic keypoint and dense geometry (a point cloud or mesh) as the interface between the perception module and motion planner. Leveraging advances in learning-based keypoint detection and shape completion, both dense geometry and keypoints can be perceived from raw sensor input. Using the proposed hybrid object representation, we formulate the manipulation task as a motion planning problem which encodes both the object target configuration and physical feasibility for a category of objects. In this way, many existing manipulation planners can be generalized to categories of objects, and the resulting perception-to-action manipulation pipeline is robust to large intra-category shape variation. Extensive hardware experiments demonstrate our pipeline can produce robot trajectories that accomplish tasks with never-before-seen objects.

研究の動機と目的

• 固定テンプレートや6-DOFポーズ推定に依存せず、大規模なカテゴリ内形状およびトポロジー変動を有するオブジェクトのカテゴリレベルでのロボット操作計画を可能にすること。
• 手動による再設定やポーズ固有のチューニングを必要とせず、新しいオブジェクトインスタンスに一般化可能な、知覚から行動へのパイプラインを開発すること。
• 運動計画において物理的妥当性（衝突、安定性など）とターゲット配置を推論可能にするために、密な幾何と意味的キーポイントを統合すること。
• 形状変動に対して失敗するポーズベース計画法や、幾何的詳細を欠くキーポイントのみの計画法の限界を克服すること。
• 提案されたハイブリッド表現を用いることで、既存の操作計画法がカテゴリレベルタスクに一般化可能であることを実証すること。

提案手法

• 本手法は、ターゲット配置を表す意味的3次元キーポイントと、物理的妥当性を表す密な幾何を組み合わせたハイブリッドオブジェクト表現を、知覚と計画のインターフェースとして用いる。
• 学習ベースのキーポイント検出と形状補完ネットワークを活用し、生のRGB-DまたはRGB画像から直接ハイブリッド表現を推定する。
• 形状補完により、部分的観測から完全なオブジェクト幾何を再構築し、計画段階での正確な衝突検査および安定性チェックを可能にする。
• 運動計画問題をハイブリッド表現に基づいて定式化し、計画者がキーポイントによる所望のオブジェクト配置と、密な幾何による物理的制約を同時に表現できるようにする。
• 知覚（キーポイント検出＋形状補完）と既存の運動計画法（最適化ベースまたはサンプリングベース）を統合することで、未学習インスタンスへの一般化を実現する。
• エンドツーエンドでトレーニング可能であり、実ロボットでも実行可能で、失敗を検出するための実行監視機能を備える。

実験結果

リサーチクエスチョン

• RQ1 意味的キーポイントと密な幾何を組み合わせたハイブリッドオブジェクト表現は、大きな形状およびトポロジー変動がある中でも、カテゴリ内の新しいインスタンスへの操作計画を一般化できるか？
• RQ2 生のセンサデータからの形状補完とキーポイント検出は、カテゴリレベル操作タスクにおける物理的に妥当な運動計画をどの程度サポートできるか？
• RQ3 提案されたハイブリッド表現を用いることで、タスク固有の再チューニングを必要とせず、既存の運動計画法をカテゴリレベルタスクに効果的に一般化できるか？
• RQ4 知覚から行動へのパイプラインの失敗モードは何か？ また、それらは計画法の限界や知覚エラーとどのように関連しているか？
• RQ5 形状補完の統合は、ポーズベースまたはキーポイントのみのアプローチと比較して、どの程度ロバストネスを向上させるか？

主な発見

• kPAM-SCパイプラインは、実機実験において、未学習のマグカップ、靴、マグラックインスタンスに対して物理的に妥当な軌道を計画・実行し、トレーニングデータを越えた一般化を示した。
• 形状補完により、部分的観測下での幾何再構築精度が著しく向上し、信頼性の高い衝突検査およびグリップ安定性チェックが可能になった。
• 従来の手法（kPAM）で必須とされていた中間配置の手動指定に依存する度合いが低減され、より効率的で自動化された計画が実現した。
• 実機実験における失敗率は低く、主な失敗原因は運動計画法の局所最適解やグリップ不安定性に起因しており、知覚エラーによるものではなかった。
• 形状補完とキーポイント検出の統合により、既存の計画法がカテゴリレベルタスクに一般化可能となり、未学習インスタンスにおいても高い成功率を維持した。
• 本システムは、3つの異なる操作タスク（靴を棚に置く、マグカップを箱に入れる、マグカップをラックにかける）において、最小限の人的介入で信頼性の高いタスク完了を達成した。