[論文レビュー] KITE: Keypoint-Conditioned Policies for Semantic Manipulation

Priya Sundaresan, Suneel Belkhale+2 more|arXiv (Cornell University)|Jun 29, 2023

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

KITE は、自然言語指示を 2D イメージキーポイントにマッピングすることで、正確な 6-DoF の操作を可能にする二段階フレームワークである。キーポイントベースのマッピングと学習されたキーポイント条件付きスキルを組み合わせることで、KITE は現実世界の長時間スパンの操作、意味的 grasping、コーヒーメーキングのタスクでそれぞれ 75%、70%、71% の成功率を達成し、顕著に少ない教師データでエンドツーエンドおよび VLM ベースのベースラインを上回った。

ABSTRACT

While natural language offers a convenient shared interface for humans and robots, enabling robots to interpret and follow language commands remains a longstanding challenge in manipulation. A crucial step to realizing a performant instruction-following robot is achieving semantic manipulation, where a robot interprets language at different specificities, from high-level instructions like "Pick up the stuffed animal" to more detailed inputs like "Grab the left ear of the elephant." To tackle this, we propose Keypoints + Instructions to Execution (KITE), a two-step framework for semantic manipulation which attends to both scene semantics (distinguishing between different objects in a visual scene) and object semantics (precisely localizing different parts within an object instance). KITE first grounds an input instruction in a visual scene through 2D image keypoints, providing a highly accurate object-centric bias for downstream action inference. Provided an RGB-D scene observation, KITE then executes a learned keypoint-conditioned skill to carry out the instruction. The combined precision of keypoints and parameterized skills enables fine-grained manipulation with generalization to scene and object variations. Empirically, we demonstrate KITE in 3 real-world environments: long-horizon 6-DoF tabletop manipulation, semantic grasping, and a high-precision coffee-making task. In these settings, KITE achieves a 75%, 70%, and 71% overall success rate for instruction-following, respectively. KITE outperforms frameworks that opt for pre-trained visual language models over keypoint-based grounding, or omit skills in favor of end-to-end visuomotor control, all while being trained from fewer or comparable amounts of demonstrations. Supplementary material, datasets, code, and videos can be found on our website: http://tinyurl.com/kite-site.

研究の動機と目的

• ロボットがシーンレベルおよびオブジェクトレベルの両方で細分化された意味的認識を伴って自然言語指示を解釈・実行できるようにすること。
• 高レベルの命令から部品固有の操作までをカバーする、構造的でオブジェクト中心の表現を用いて意味的マニピュレーションの課題に取り組むこと。
• 複雑で長時間スパンのマニピュレーションタスクにおいて、高いパフォーマンスを維持しながら訓練に必要なデータ量を削減すること。
• 分離されたキーポイント条件付きポリシー枠組みを通じて、粗い視覚言語マッピングと細分化された 6-DoF アクション実行のギャップを埋めること。

提案手法

• KITE は、RGB-D 観測と自然言語指示を 2D タスク関連キーポイントにマップするマッピングポリシーを用い、正確な空間的監視を提供する。
• フレームワークは、予測されたキーポイントに基づいて 6-DoF アクションを生成するパラメータ化されたキーポイント条件付きスキルのライブラリを採用する。
• キーポイントは、シーンレベル（オブジェクトの識別）とオブジェクトレベル（部品固有）の両方の意味を結びつける共通で解釈可能な表現である。
• システムは、スキルあたり 50 未満の教師データと、マッピングモデルのための数百件のアノテート済み例からのみ訓練され、データ効率の良い学習が可能である。
• キーポイント予測は低レベル制御ポリシーの条件付けに用いられ、マグカップの再配置やコーヒーパッドの挿入といった正確なマニピュレーションを可能にする。
• フレームワークはウェイポイントベースのスキルを用いてオープンループで動作し、将来の閉ループフィードバックへの拡張が可能である。

Figure 1: Real-World Semantic Manipulation Environments: We visualize our semantic manipulation framework KITE on three real-world environments: long-horizon instruction following, semantic grasping, and coffee-making. Using keypoint-based grounding, KITE contextualizes scene-level semantics (‘Pick

実験結果

リサーチクエスチョン

• RQ1 キーポイントベースのマッピング機構は、複雑で現実世界の環境における言語ベースのマニピュレーションの正確性と一般化性能を向上させることができるか？
• RQ2 キーポイント条件付きスキルと言語マッピングを組み合わせることで、長時間スパンおよび細分化されたマニピュレーションタスクにおけるパフォーマンスにどのような影響を与えるか？
• RQ3 エンドツーエンドの視覚運動ポリシーと比較して、KITE はどの程度データ要件を削減できるか？
• RQ4 バウンディングボックスやセグメンテーションマスクと比較して、キーポイントベースの表現は、オブジェクト部品レベルの意味的マニピュレーションをどの程度効果的に可能にするか？

主な発見

• KITE は、長時間スパンの 6-DoF デスクトップマニピュレーションで 75% の成功率を達成し、事前学習済み視覚言語モデルやエンドツーエンド制御に依存するベースラインを上回った。
• 意味的 grasping タスクでは、確認済みおよび未確認のインスタンスを含め 70% の成功率を達成し、13 回の失敗のうち 4 回がマッピングエラーに起因していたため、高い耐障害性を示した。
• 高精度なコーヒーメーキングでは、4 つの細分化されたスキルで 67–75% の成功率を達成し、失敗の主な原因は低レベル制御エラーであり、誤ったマッピングによるものではなかった。
• KITE のマッピングモジュールは、未確認のオブジェクトインスタンスや言語表現の変化に対しても良好に一般化され、失敗の大部分は対称性エラーに起因しており、誤ったキーポイント検出によるものではなかった。
• エンドツーエンド手法と比較して、KITE ははるかに少ない教師データ（スキルあたり 50 未満）で学習が可能であり、優れたデータ効率性を示した。
• KITE のパフォーマンスは、剛体ツール、変形性オブジェクト、アーティキュレーテッドアイテムを含む多様なオブジェクトカテゴリにわたり一貫して高く、全カテゴリで安定した成功を達成した。

Figure 2: KITE System Overview: KITE receives an image observation $I_{t}$ along with user instruction $i_{t}$ and grounds these inputs to a 2D semantic keypoint in the image. After inferring which skill type $l_{t}$ is appropriate from a set of skill labels, KITE takes an RGB-D point cloud observat