[논문 리뷰] OK-Robot: What Really Matters in Integrating Open-Knowledge Models for Robotics

Peiqi Liu, Yaswanth Orru외 4명|arXiv (Cornell University)|2024. 01. 22.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

OK-Robot는 비구조화된 가정 환경에서 비지도(open-vocabulary) 픽앤드롭 작업을 위한 제로샷, 오픈지식 로봇 프레임워크를 제안한다. 시각-언어 모델(VLMs)과 사전 훈련된 탐색 및 잡기 프리미티브를 통합하여, 특정 작업에 대한 미세조정 없이도 10개의 실내 환경에서 실제 배포 시 58.5%의 성공률을 달성하였으며, 더 깔끔한 환경에서는 82%까지 상승한다. 이는 구성 요소 통합과 시스템 수준 히وري스틱이 성능에 결정적인 영향을 미친다는 것을 보여준다.

ABSTRACT

Remarkable progress has been made in recent years in the fields of vision, language, and robotics. We now have vision models capable of recognizing objects based on language queries, navigation systems that can effectively control mobile systems, and grasping models that can handle a wide range of objects. Despite these advancements, general-purpose applications of robotics still lag behind, even though they rely on these fundamental capabilities of recognition, navigation, and grasping. In this paper, we adopt a systems-first approach to develop a new Open Knowledge-based robotics framework called OK-Robot. By combining Vision-Language Models (VLMs) for object detection, navigation primitives for movement, and grasping primitives for object manipulation, OK-Robot offers a integrated solution for pick-and-drop operations without requiring any training. To evaluate its performance, we run OK-Robot in 10 real-world home environments. The results demonstrate that OK-Robot achieves a 58.5% success rate in open-ended pick-and-drop tasks, representing a new state-of-the-art in Open Vocabulary Mobile Manipulation (OVMM) with nearly 1.8x the performance of prior work. On cleaner, uncluttered environments, OK-Robot's performance increases to 82%. However, the most important insight gained from OK-Robot is the critical role of nuanced details when combining Open Knowledge systems like VLMs with robotic modules. Videos of our experiments and code are available on our website: https://ok-robot.github.io

연구 동기 및 목표

• 비구조화된 가정 환경에서 제로샷 오픈버전 모바일 조작을 가능하게 하는 일반 목적의 로봇 프레임워크를 개발하는 것.
• 사전 훈련된 오픈지식 모델(VLMs, 탐색, 잡기)이 작업 특화 미세조정 없이 효과적으로 통합될 수 있는 방법을 탐구하는 것.
• 시각, 탐색, 잡기 모듈의 구성 요소 수준 정확도 부족으로 인한 시스템 수준 실패 모드를 식별하고 해결하는 것.
• 다양하고 예측할 수 없는 주거 환경에서의 실제 배포를 통해 오픈버전 모바일 조작(OVMM)에 대한 벤치마크를 수립하는 것.
• 재현 가능성과 확장성을 위해 코드와 모듈을 오픈소스화하여 향후 연구 지원을 위한 것.

제안 방법

• OK-Robot는 신규 주거 환경의 iPhone 스캔 자료를 기반으로 LangSam과 CLIP를 사용해 밀도 높은 시각-언어 표현을 활용해 의미 기억을 구축한다.
• 언어 임bedding을 사용해 자연어 질의를 의미 기억 내의 객체와 매칭함으로써 오픈버전 객체 위치 특정이 가능해진다.
• VLM 출력에서 유도된 목적지 위치에 도달하기 위해 A*-기반 경로 계획기(USANet 유사)를 사용해 탐색을 수행한다.
• 재훈련 없이도 검출된 객체 위치에 직접 작용하는 사전 훈련된 잡기 정책을 사용해 잡기를 수행한다.
• 상태 기계 컨트롤러가 객체 위치 특정, 탐색, 잡기 프리미티브를 모듈러하고 제로샷 파이프라인으로 순차화한다.
• 충돌 회피 및 물리적 제약 조건에 따른 잡기 자세 조정과 같은 로봇 고유의 제약 조건을 처리하기 위해 히وري스틱을 적용한다.

Figure 2: Open-vocabulary, open knowledge object localization and navigation in the real-world. We use the VoxelMap [ 25 ] for localizing objects with natural language queries, and use an A* algorithm similar to USANet [ 26 ] for path planning.

실험 결과

연구 질문

• RQ1 실제 주거 환경에서 사전 훈련된 VLMs, 탐색, 잡기 모델의 제로샷 통합이 오픈버전 모바일 조작에 얼마나 효과적인가?
• RQ2 개별 모델 정확도와는 별개로, 구성 요소 조합 및 히وري스틱과 같은 시스템 수준 설계 선택이 전체 성공률에 미치는 영향은 무엇인가?
• RQ3 혼잡도, 투명성, 크기 등의 환경적 요인이 오픈지식 로봇 시스템의 성능에 어떤 영향을 미치는가?
• RQ4 오류 탐지 향상, 재시도 메커니즘, 사용자 상호작용 등을 통해 실패 모드를 어느 정도 완화할 수 있는가?
• RQ5 현재 오픈지식 로봇 파이프라인의 주요 병목은 무엇이며, 향후 모델 또는 하드웨어 개선을 통해 어떻게 해결할 수 있는가?

주요 결과

• OK-Robot는 10개의 실재 주거 환경에서 예측 불가능한 조건에서의 오픈엔드 픽앤드롭 작업에서 58.5%의 성공률을 달성하여 오픈버전 모바일 조작(OVMM) 분야에서 새로운 최고 기록을 수립했다.
• 더 깔끔하고 혼잡하지 않은 환경에서는 성공률이 82.4%로 상승하여 환경 품질이 시스템 성능에 미치는 영향이 크다는 점을 입증했다.
• CLIP와 OWL-ViT와 같은 사전 훈련된 VLMs는 의미 기억과 언어 매칭을 통해 오픈버전 객체 위치 특정 및 탐색에 효과적으로 기여한다.
• 사전 훈련된 잡기 모델은 미세조정 없이도 그대로 적용 가능하며, 이는 이러한 모델이 새로운 주거 환경에 잘 일반화된다는 것을 보여준다.
• 특히 로봇 운동학 및 물리적 제약 조건을 처리하기 위한 히وري스틱을 활용한 통합 전략이, 단순한 구성 요소 조합보다 성공률을 크게 향상시킨다.
• 모듈 간 오류 누적이 여전히 주요 과제이며, 80% 정확도의 구성 요소들이라도 곱셈적 오류 영향으로 인해 전체 성공률가 60% 미만에 머무를 수 있다.

Figure 3: Open-vocabulary grasping in the real world. From left to right, we show the (a) robot POV image, (b) all suggested grasps from AnyGrasp [ 19 ] , (c) object mask given label from LangSam [ 24 ] , (d) grasp points filtered by the mask, and (e) grasp chosen for execution.