[论文解读] KITE: Keypoint-Conditioned Policies for Semantic Manipulation

Priya Sundaresan, Suneel Belkhale+2 more|arXiv (Cornell University)|Jun 29, 2023

Multimodal Machine Learning Applications被引用 5

一句话总结

KITE 是一种用于语义操作的两阶段框架，通过将自然语言指令与 2D 图像关键点对齐，实现精确的 6-DoF 操作。通过结合基于关键点的对齐与学习到的关键点条件化技能，KITE 在真实世界中的长时程操作、语义抓取和咖啡制作任务中分别实现了 75%、70% 和 71% 的成功率，显著优于端到端和基于视觉-语言模型的基线方法，且所需演示数据量极少。

ABSTRACT

While natural language offers a convenient shared interface for humans and robots, enabling robots to interpret and follow language commands remains a longstanding challenge in manipulation. A crucial step to realizing a performant instruction-following robot is achieving semantic manipulation, where a robot interprets language at different specificities, from high-level instructions like "Pick up the stuffed animal" to more detailed inputs like "Grab the left ear of the elephant." To tackle this, we propose Keypoints + Instructions to Execution (KITE), a two-step framework for semantic manipulation which attends to both scene semantics (distinguishing between different objects in a visual scene) and object semantics (precisely localizing different parts within an object instance). KITE first grounds an input instruction in a visual scene through 2D image keypoints, providing a highly accurate object-centric bias for downstream action inference. Provided an RGB-D scene observation, KITE then executes a learned keypoint-conditioned skill to carry out the instruction. The combined precision of keypoints and parameterized skills enables fine-grained manipulation with generalization to scene and object variations. Empirically, we demonstrate KITE in 3 real-world environments: long-horizon 6-DoF tabletop manipulation, semantic grasping, and a high-precision coffee-making task. In these settings, KITE achieves a 75%, 70%, and 71% overall success rate for instruction-following, respectively. KITE outperforms frameworks that opt for pre-trained visual language models over keypoint-based grounding, or omit skills in favor of end-to-end visuomotor control, all while being trained from fewer or comparable amounts of demonstrations. Supplementary material, datasets, code, and videos can be found on our website: http://tinyurl.com/kite-site.

研究动机与目标

• 使机器人能够以细粒度的语义意识理解并执行自然语言指令，覆盖场景和物体两个层面。
• 通过结构化、以物体为中心的表示，解决语义操作的挑战——即从高层级指令到特定部件操作的指令理解。
• 在保持复杂长时程操作任务高性能的同时，减少训练所需的数据量。
• 通过解耦的关键点条件化策略框架，弥合粗粒度视觉-语言对齐与细粒度 6-DoF 动作执行之间的差距。

提出的方法

• KITE 使用一个对齐策略，将 RGB-D 观测结果与语言指令映射到物体上的 2D 任务相关关键点，提供精确的空间监督。
• 该框架采用一组参数化、关键点条件化的技能库，根据预测的关键点生成 6-DoF 动作。
• 关键点作为共享的、可解释的表示，将语言语义与场景级（物体身份）和物体级（部件特定）语义联系起来。
• 系统仅需每项技能少于 50 次演示以及数百个标注示例用于对齐模型，即可实现数据高效的训练。
• 关键点预测用于条件化低层控制策略，从而实现精确操作，如重新定向马克杯或插入咖啡胶囊。
• 该框架采用基于航点的技能以开环方式运行，未来可扩展至闭环反馈。

Figure 1: Real-World Semantic Manipulation Environments: We visualize our semantic manipulation framework KITE on three real-world environments: long-horizon instruction following, semantic grasping, and coffee-making. Using keypoint-based grounding, KITE contextualizes scene-level semantics (‘Pick

实验结果

研究问题

• RQ1 基于关键点的对齐机制是否能提升复杂真实环境中基于语言操作的准确性与泛化能力？
• RQ2 将关键点条件化技能与语言对齐相结合，对长时程和细粒度操作任务的性能有何影响？
• RQ3 与端到端视觉-运动策略相比，KITE 在多大程度上减少了数据需求，同时保持高成功率？
• RQ4 与边界框或分割掩码相比，基于关键点的表示在实现物体部件级语义操作方面表现如何？

主要发现

• 在长时程 6-DoF 桌面操作任务中，KITE 达到了 75% 的成功率，优于依赖预训练视觉-语言模型或端到端控制的基线方法。
• 在语义抓取任务中，KITE 在已见和未见实例上均实现了 70% 的成功率，其中 13 次失败中有 4 次源于对齐错误，表明其具有高度鲁棒性。
• 在高精度咖啡制作任务中，KITE 在四项细粒度技能上实现了 67%–75% 的成功率，失败主要源于低层控制误差，而非错误对齐。
• KITE 的对齐模块对未见过的物体实例和语言表达方式的变化泛化能力良好，多数失败源于对称性错误，而非关键点检测错误。
• 该框架所需演示数量显著减少——每项技能少于 50 次，相比端到端方法展现出强大的数据效率。
• KITE 在多种物体类别中表现稳健，包括刚性工具、柔顺物体和铰接式物品，各类别均保持一致的成功率。

Figure 2: KITE System Overview: KITE receives an image observation $I_{t}$ along with user instruction $i_{t}$ and grounds these inputs to a 2D semantic keypoint in the image. After inferring which skill type $l_{t}$ is appropriate from a set of skill labels, KITE takes an RGB-D point cloud observat