[論文レビュー] TAX-Pose: Task-Specific Cross-Pose Estimation for Robot Manipulation

Chuer Pan, Brian Okorn+3 more|arXiv (Cornell University)|Nov 17, 2022

Robot Manipulation and Learning被引用数 4

ひとこと要約

TAX-Pose は、ロボット操作におけるタスク固有のクロスポーズ推定のためのビジョンベース手法を提案する。対象となる物体同士の相対的ポーズ（例：鍋をオーブンに放り込む）を、物体間の対応関係を用いて学習する。タスク固有のポーズ関係を学習可能で転送可能な概念としてモデル化することで、わずか10件の実世界のデモンストレーションで未観測の物体に対しても最先端の一般化性能を達成する。

ABSTRACT

How do we imbue robots with the ability to efficiently manipulate unseen objects and transfer relevant skills based on demonstrations? End-to-end learning methods often fail to generalize to novel objects or unseen configurations. Instead, we focus on the task-specific pose relationship between relevant parts of interacting objects. We conjecture that this relationship is a generalizable notion of a manipulation task that can transfer to new objects in the same category; examples include the relationship between the pose of a pan relative to an oven or the pose of a mug relative to a mug rack. We call this task-specific pose relationship "cross-pose" and provide a mathematical definition of this concept. We propose a vision-based system that learns to estimate the cross-pose between two objects for a given manipulation task using learned cross-object correspondences. The estimated cross-pose is then used to guide a downstream motion planner to manipulate the objects into the desired pose relationship (placing a pan into the oven or the mug onto the mug rack). We demonstrate our method's capability to generalize to unseen objects, in some cases after training on only 10 demonstrations in the real world. Results show that our system achieves state-of-the-art performance in both simulated and real-world experiments across a number of tasks. Supplementary information and videos can be found at https://sites.google.com/view/tax-pose/home.

研究の動機と目的

• 同じカテゴリに属する未観測の物体に対してもロボットが操作スキルを一般化できるようにすること。
• 個々の物体のポーズを超えて、一般化可能でタスク固有の物体相互作用表現を同定すること。
• 多数のデモンストレーションに依存するのを減らし、少数の実世界例からの学習を可能にすること。
• 相互作用する物体部品間の相対的ポーズを推定することで、下流の運動計画を改善すること。
• ゼロショット一般化のための転送可能な概念としてクロスポーズを確立すること。

提案手法

• 本手法は、たとえばマグカップとマグラックの相対的ポーズのような、2つの相互作用する物体部品間の相対的ポーズを「クロスポーズ」と定義する。
• RGB画像を用いて、異なる物体の部品間のクロスオブジェクト対応関係を深層ニューラルネットワークで学習する。
• 微分可能レンダリングモジュールが、予測された対応関係と画像特徴量からクロスポーズを推定する。
• 2段階のパイプライン（対応関係予測 → 微分可能クロスポーズ回帰）を採用する。
• 学習されたクロスポーズは、望ましい相互作用配置に到達するように運動計画者をガイドする。
• 最小限の監視のもとで、実世界のデモンストレーションをエンドツーエンドに訓練する。

実験結果

リサーチクエスチョン

• RQ1 タスク固有の相対的ポーズ表現は、同じカテゴリに属する新しい物体に一般化可能か？
• RQ2 少数の実世界デモンストレーションからのみ推定可能なビジョンベースのシステムは、クロスポーズをどれほど正確に推定できるか？
• RQ3 クロスポーズを学習可能で転送可能な概念としてモデル化することで、操作タスクにおけるゼロショット一般化が向上するか？
• RQ4 最小限のファインチューニングで、シミュレーションおよび実世界設定の両方で高い精度を達成できるか？
• RQ5 未観測の物体状況において、クロスポーズ推定の性能はベースライン手法と比べてどうか？

主な発見

• 本手法は、シミュレーションおよび実世界の両方の操作タスクで最先端の性能を達成した。
• わずか10件の実世界デモンストレーションでの学習後、未観測の物体に対しても一般化した。
• 本システムは、たとえば異なるマグカップをマグラックに置くような状況において、学習済みのクロスポーズ関係を新しい物体に転送した。
• クロスポーズ表現により、物体の識別子や外観が変化しても正確な運動計画が可能になった。
• 多様な物体形状や配置を持つ複雑でごちゃついた環境でも、本手法は頑健性を示した。
• 補足動画および結果から、パンをオーブンに放り込む、マグをラックに置くといった複数のタスクカテゴリにわたり、一貫した性能が確認された。