[논문 리뷰] Gemini Robotics: Bringing AI into the Physical World

Gemini Robotics Team, Saminda Abeyruwan외 116명|ArXiv.org|2025. 03. 25.

Space Science and Extraterrestrial Life인용 수 4

한 줄 요약

이 논문은 Gemini Robotics를 제시합니다. 이는 Gemini 2.0을 기반으로 한 embodied AI 모델의 가족(Gemini Robotics-ER 및 Gemini Robotics)로, 구현된 추론, 비전-언어-행동 능력, 제로샷/소수샷 학습, 안전하고 적응 가능한 배치를 통한 열린 어휘의 실제 로봇 제어를 가능하게 합니다.

ABSTRACT

Recent advancements in large multimodal models have led to the emergence of remarkable generalist capabilities in digital domains, yet their translation to physical agents such as robots remains a significant challenge. This report introduces a new family of AI models purposefully designed for robotics and built upon the foundation of Gemini 2.0. We present Gemini Robotics, an advanced Vision-Language-Action (VLA) generalist model capable of directly controlling robots. Gemini Robotics executes smooth and reactive movements to tackle a wide range of complex manipulation tasks while also being robust to variations in object types and positions, handling unseen environments as well as following diverse, open vocabulary instructions. We show that with additional fine-tuning, Gemini Robotics can be specialized to new capabilities including solving long-horizon, highly dexterous tasks, learning new short-horizon tasks from as few as 100 demonstrations and adapting to completely novel robot embodiments. This is made possible because Gemini Robotics builds on top of the Gemini Robotics-ER model, the second model we introduce in this work. Gemini Robotics-ER (Embodied Reasoning) extends Gemini's multimodal reasoning capabilities into the physical world, with enhanced spatial and temporal understanding. This enables capabilities relevant to robotics including object detection, pointing, trajectory and grasp prediction, as well as multi-view correspondence and 3D bounding box predictions. We show how this novel combination can support a variety of robotics applications. We also discuss and address important safety considerations related to this new class of robotics foundation models. The Gemini Robotics family marks a substantial step towards developing general-purpose robots that realizes AI's potential in the physical world.

연구 동기 및 목표

• 로봇공학을 위한 구현된 추론(ER)을 물리적 작용 및 접촉 물리학에 기반해 Vision-Language Models를 접지시키며 발전시킨다.
• Enhanced embodied reasoning을 갖춘 Gemini Robotics-ER와 Dexterous 제어를 위한 Vision-Language-Action(VLA) 시스템으로서 Gemini Robotics를 개발한다.
• 제로샷 및 소수샷 로봇 제어를 시연하고, 새로운 구현으로 일반화하며, 로봇기반 모델의 안전 고려사항을 조사한다.
• ERQA와 같은 공개 벤치마크를 제공하고, 기존 VLM 및 로봇학 기반 벤치마크와의 성능 기준치를 확립한다.

제안 방법

• ERQA: 공간, 궤적, 상태 추정, 포인팅, 다중 시점, 과제 추론을 위한 오픈 소스 구현 embodied reasoning 벤치마크를 도입한다.
• 물리적 행동에 대한 grounding(물체 탐지, 포인팅, 궤적, 3D 경계 상자)을 위해 3D 및 시간적 이해를 강화한 Gemini Robotics-ER로 Gemini 2.0을 확장한다.
• 저지연, 고주파수 동작 생성을 가능하게 하는 클라우드 기반 백본과 로컬 온보드 디코더를 갖춘 Gemini Robotics(VLA)를 개발하여 엔드투엔드 지연 약 250 ms, 제어 주파수 약 50 Hz를 달성한다.
• 로봇의 다양한 작업과 구현 전반에 걸쳐 넓은 일반화를 가능하게 만들기 위해 로봇 동작 데이터와 비동작 데이터를 포함하는 대규모 다중 모달 데이터 세트로 학습한다.
• 코드 생성을 통한 제로샷 제어 및 시演과 언어 추론을 이용한 시연으로 ICL을 통한 소수샷 제어를 가능하게 한다.
• 최신 VLM 및 로봇학 벤치마크와의 비교를 수행하고 로봇기반 모델의 안전성 함의를 연구한다.

실험 결과

연구 질문

• RQ1 구조화된 작업 데이터 없이도 구현된 추론을 갖춘 기초 VLM이 다양한 조작 작업과 새로운 로봇 구현으로 일반화할 수 있는가?
• RQ2 제로샷 및 소수샷 프롬퓨팅(코드 또는 궤적 사용)이 현실 및 시뮬레이션 환경에서 정교한 조작과 장기 목표를 어떻게 효과적으로 가능하게 하는가?
• RQ3 실세계에서 대형 로봇 기초 모델을 배포할 때의 안전 및 거버넌스 고려사항은 무엇인가?
• RQ4 열린 어휘 구현된 추론(3D 탐지, 다중 시점 대응, 3D 경계 상자)이 일반화 및 적응 면에서 전문 로봇 시스템과 비교해 어떤 차이를 보이는가?

주요 결과

• Gemini 2.0 기반 모델은 구현된 추론 벤치마크 ERQA, RealworldQA, 및 BLINK에서 GPT/Claude 벤치마크 및 다른 VLM 대비 최첨단 성능을 달성합니다.
• Chain-of-Thought 프롬프트를 사용하면 Gemini 2.0의 ERQA 결과가 크게 향상되며, CoT는 Flash 및 Pro Experimental 변형 모두에 대해 추가 이득을 제공합니다.
• Gemini Robotics-ER는 2D/3D 인지(물체 탐지, 포인팅, 2D 궤적, 3D 경계 상자, 다중 시점 대응)를 향상시키고 로봇 제어를 위한 상향식 그립 예측을 가능하게 하며 로봇 작업에 대해 로봇-동작 미세튜닝 없이도 잘 작동합니다.
• 코드 생성을 통한 제로샷 로봇 제어: Gemini 2.0 Flash의 시뮬레이션 평균 작업 성공률 약 27%(난이도가 낮은 작업에서 최대 54%); Gemini Robotics-ER 약 53% 평균으로 2.0 Flash 성능을 거의 두 배로 향상합니다.
• 소수샷(ICL) 시연은 성능을 향상시킵니다: Gemini 2.0 Flash의 정교한 작업에서 시뮬레이션+현실의 평균 약 65%; Gemini Robotics-ER은 시뮬레이션과 현실 세계에서 시연으로 약 65%를 달성하며 일부 작업에서 제로샷 결과를 능가합니다.
• 엔드투엔드 Gemini Robotics는 클라우드 기반 VLA 백본과 온보드 디코더를 결합하여 지연 약 250 ms, 제어 주파수 약 50 Hz의 저지연 고주파 제어를 제공하며, 다양한 작업과 구현에서 반응적이고 능숙한 조작을 가능하게 합니다.