[논문 리뷰] KITE: Keypoint-Conditioned Policies for Semantic Manipulation

Priya Sundaresan, Suneel Belkhale외 2명|arXiv (Cornell University)|2023. 06. 29.

Multimodal Machine Learning Applications인용 수 5

한 줄 요약

KITE는 자연어 지시를 2차원 이미지 키포인트에 기반하여 정렬함으로써 정밀한 6-DoF 조작을 가능하게 하는 이단계 프레임워크이다. 키포인트 기반 정렬과 학습된 키포인트 조건 기반 스킬을 결합함으로써 KITE는 실제 장기 시간 간격 조작, 의미적 집게, 커피 제조 작업에서 각각 75%, 70%, 71%의 성공률을 달성하였으며, 더 적은 시범 데이터로도 종래의 엔드 투 엔드 및 VLM 기반 기준선을 능가하였다.

ABSTRACT

While natural language offers a convenient shared interface for humans and robots, enabling robots to interpret and follow language commands remains a longstanding challenge in manipulation. A crucial step to realizing a performant instruction-following robot is achieving semantic manipulation, where a robot interprets language at different specificities, from high-level instructions like "Pick up the stuffed animal" to more detailed inputs like "Grab the left ear of the elephant." To tackle this, we propose Keypoints + Instructions to Execution (KITE), a two-step framework for semantic manipulation which attends to both scene semantics (distinguishing between different objects in a visual scene) and object semantics (precisely localizing different parts within an object instance). KITE first grounds an input instruction in a visual scene through 2D image keypoints, providing a highly accurate object-centric bias for downstream action inference. Provided an RGB-D scene observation, KITE then executes a learned keypoint-conditioned skill to carry out the instruction. The combined precision of keypoints and parameterized skills enables fine-grained manipulation with generalization to scene and object variations. Empirically, we demonstrate KITE in 3 real-world environments: long-horizon 6-DoF tabletop manipulation, semantic grasping, and a high-precision coffee-making task. In these settings, KITE achieves a 75%, 70%, and 71% overall success rate for instruction-following, respectively. KITE outperforms frameworks that opt for pre-trained visual language models over keypoint-based grounding, or omit skills in favor of end-to-end visuomotor control, all while being trained from fewer or comparable amounts of demonstrations. Supplementary material, datasets, code, and videos can be found on our website: http://tinyurl.com/kite-site.

연구 동기 및 목표

• 로봇이 장면 수준 및 물체 수준에서 세밀한 의미 인식 능력을 갖춘 자연어 지시를 이해하고 실행할 수 있도록 하는 것.
• 고수준 명령에서 부품 특정 동작에 이르기까지 다양한 지시를 해석하는 의미 조작 문제를 구조적이고 물체 중심의 표현 방식을 통해 해결하는 것.
• 복잡한 장기 시간 간격 조작 작업에서 높은 성능를 유지하면서도 학습에 필요한 데이터 요구량을 줄이는 것.
• 粗안한 시각-언어 정렬과 세밀한 6-DoF 동작 실행 사이의 격차를 분리된 키포인트 조건 기반 정책 프레임워크를 통해 해소하는 것.

제안 방법

• KITE는 RGB-D 관측치와 언어 지시를 입력으로 받아 물체의 작업에 관련된 2D 키포인트로 매핑하는 정렬 정책을 사용하여 정밀한 공간적 지도를 제공한다.
• 이 프레임워크는 예측된 키포인트에 기반하여 6-DoF 동작을 생성하는 파arameterized, 키포인트 조건 기반 스킬 라이브러리를 활용한다.
• 키포인트는 언어 의미를 장면 수준(물체 식별)과 물체 수준(부품 특정) 의미 모두에 연결하는 공통이고 해석 가능한 표현 방식으로 기능한다.
• 시스템은 스킬당 50건 미만의 시범 데이터와 정렬 모델을 위한 수백 건의 애너테이션 예제로 훈련되어 데이터 효율적인 학습이 가능하다.
• 키포인트 예측은 저수준 제어 정책을 조건화하는 데 사용되어 머그를 재정렬하거나 커피 팟을 삽입하는 정밀한 조작을 가능하게 한다.
• 웨이포인트 기반 스킬을 사용하는 오픈 루프 방식으로 운영되며, 향후 피드백 기반 폐루프 확장 가능성도 있다.

Figure 1: Real-World Semantic Manipulation Environments: We visualize our semantic manipulation framework KITE on three real-world environments: long-horizon instruction following, semantic grasping, and coffee-making. Using keypoint-based grounding, KITE contextualizes scene-level semantics (‘Pick

실험 결과

연구 질문

• RQ1 키포인트 기반 정렬 메커니즘이 복잡한 실제 환경에서 언어 기반 조작의 정확도와 일반화 능력을 향상시키는가?
• RQ2 키포인트 조건 기반 스킬과 언어 정렬을 결합할 경우 장기 시간 간격 및 세밀한 조작 작업에서 성능에 어떤 영향을 미치는가?
• RQ3 KITE는 엔드 투 엔드 시각-운동 정책에 비해 얼마나 많은 데이터 요구량을 줄일 수 있는가?
• RQ4 박스나 세그멘테이션 마스크에 비해 키포인트 기반 표현 방식은 물체 부품 수준의 의미 조작을 어떻게 향상시키는가?

주요 결과

• KITE는 장기 시간 간격 6-DoF 테이블탑 조작에서 75%의 성공률을 달성하였으며, 사전 학습된 시각-언어 모델이나 엔드 투 엔드 제어에 의존하는 기준선을 능가하였다.
• 의미적 집게 작업에서는 볼 수 있는 및 볼 수 없는 경우를 포함해 70%의 성공률을 기록하였으며, 13건의 실패 중 4건만이 정렬 오류로 인한 것으로 나타나 높은 내구성을 보였다.
• 정밀한 커피 제조 작업에서는 네 가지 세밀한 스킬에서 67~75%의 성공률을 기록하였으며, 실패의 주요 원인은 정렬 오류가 아니라 저수준 제어 오류였다.
• KITE의 정렬 모듈은 새로운 물체 인스턴스와 언어 어휘의 다양성에 대해 잘 일반화되며, 대부분의 실패는 잘못된 키포인트 검출이 아니라 대칭성 오류에서 기인하였다.
• 엔드 투 엔드 방법에 비해 훨씬 적은 시범 데이터—스킬당 50건 미만—으로도 학습이 가능하여 강력한 데이터 효율성을 입증하였다.
• KITE의 성능는 강성 도구, 유연한 물체, 조인트가 있는 물체 등 다양한 물체 카테고리에서 일관되게 높은 성공률로 유지되었으며, 모든 카테고리에서 뛰어난 성능를 보였다.

Figure 2: KITE System Overview: KITE receives an image observation $I_{t}$ along with user instruction $i_{t}$ and grounds these inputs to a 2D semantic keypoint in the image. After inferring which skill type $l_{t}$ is appropriate from a set of skill labels, KITE takes an RGB-D point cloud observat