[論文レビュー] Gemini Robotics: Bringing AI into the Physical World

Gemini Robotics Team, Saminda Abeyruwan+116 more|ArXiv.org|Mar 25, 2025

Space Science and Extraterrestrial Life被引用数 4

ひとこと要約

論文は、Gemini 2.0を基盤とした embodied AI モデル family（Gemini Robotics-ER および Gemini Robotics）を提示し、open-vocabulary な現実世界ロボット制御を可能にする embodiment reasoning、 vision-language-action 能力、ゼロ/少数-shot 学習、安全で適応的な展開を実現します。

ABSTRACT

Recent advancements in large multimodal models have led to the emergence of remarkable generalist capabilities in digital domains, yet their translation to physical agents such as robots remains a significant challenge. This report introduces a new family of AI models purposefully designed for robotics and built upon the foundation of Gemini 2.0. We present Gemini Robotics, an advanced Vision-Language-Action (VLA) generalist model capable of directly controlling robots. Gemini Robotics executes smooth and reactive movements to tackle a wide range of complex manipulation tasks while also being robust to variations in object types and positions, handling unseen environments as well as following diverse, open vocabulary instructions. We show that with additional fine-tuning, Gemini Robotics can be specialized to new capabilities including solving long-horizon, highly dexterous tasks, learning new short-horizon tasks from as few as 100 demonstrations and adapting to completely novel robot embodiments. This is made possible because Gemini Robotics builds on top of the Gemini Robotics-ER model, the second model we introduce in this work. Gemini Robotics-ER (Embodied Reasoning) extends Gemini's multimodal reasoning capabilities into the physical world, with enhanced spatial and temporal understanding. This enables capabilities relevant to robotics including object detection, pointing, trajectory and grasp prediction, as well as multi-view correspondence and 3D bounding box predictions. We show how this novel combination can support a variety of robotics applications. We also discuss and address important safety considerations related to this new class of robotics foundation models. The Gemini Robotics family marks a substantial step towards developing general-purpose robots that realizes AI's potential in the physical world.

研究の動機と目的

• Vision-Language Models を物理的な行動と接触物理に grounding して embodied reasoning (ER) をロボティクスで前進させる。
• enhanced embodied reasoning を持つ Gemini Robotics-ER と、VLA(system) としての Gemini Robotics を開発し、器用な制御を実現する。
• ゼロ-shot および few-shot ロボット制御を実演し、新しい embodiment への generalization を示し、ロボティクス基盤モデルの安全性を検討する。
• open benchmarks（ERQA）を提供し、既存の VLMs やロボティクスのベースラインに対する性能のベースラインを確立する。

提案手法

• ERQA：空間・軌道・状態推定・指差し・多視点・タスク推論を含む、オープンソースの embodiment reasoning ベンチマークを導入。
• 物理的行動 grounding のため、3D および時間的理解を強化した Gemini Robotics-ER を Gemini 2.0 から拡張（物体検出・指差し・軌道・3D バウンディングボックス）。
• クラウドバックボーンとローカル搭載デコーダを備えた Gemini Robotics（VLA）を開発し、低遅延・高頻度の action 生成を実現（約 250 ms のエンドツーエンド待機時間、約 50 Hz の制御）。
• ロボットの action データを含む大規模で多様な多模態データセットで訓練し、タスクと embodiment を横断した広い generalization を可能にする。
• ゼロ-shot 制御をコード生成で、few-shot 制御を実演付きの学習（ICL）で実現し、ロボットの行動を誘導する。
• 最先端の VLMs やロボティクスベースラインと比較し、ロボティクス基盤モデルの安全性影響を考察する。

実験結果

リサーチクエスチョン

• RQ1 基盤 VLM に embodied reasoning を持たせると、タスク固有のロボットアクションデータなしに、多様な操作タスクや新しいロボット embodiment に generalize できるか。
• RQ2 ゼロ-shot および few-shot の prompting（コードや軌道を通じて）は、現実世界とシミュレーション環境での器用な操作と長期的なタスクをどの程度効果的に実現できるか。
• RQ3 現実世界で大規模なロボット基盤モデルを展開する際の安全性とガバナンスの考慮事項は何か。
• RQ4 オープンな語彙の embodiment reasoning（3D検出、マルチビュー対応、3D バウンディングボックス）は、一般化と適応の観点で、専門的なロボットシステムとどう比較されるか。

主な発見

• Gemini 2.0 ベースのモデルは、ERQA、RealworldQA、BLINK の embodiment reasoning ベンチマークで、GPT/Claude ベースラインおよび他の VLMs と比較して最先端の性能を達成。
• Chain-of-Thought prompting により Gemini 2.0 の ERQA 成績が大幅に改善され、CoT は Flash および Pro Experimental の両方のバリアントで追加の利得を生む。
• Gemini Robotics-ER は 2D/3D 認識（物体検出、指差し、2D 軌道、3D バウンディングボックス、マルチビュー対応）を強化し、ロボティクスのトップダウン把持予測を可能にする。ロボットアクションのファインチューニングなしで良好に機能する。
• コード生成によるゼロ-shot ロボット制御：Gemini 2.0 Flash はシミュレーションで平均 ~27% のタスク成功（易しいタスクで最大 54%）; Gemini Robotics-ER は平均 ~53% で、2.0 Flash の性能をほぼ倍増。
• few-shot (ICL) デモンストレーションは性能を向上させる：Gemini 2.0 Flash は dexterous タスクで sim+real 平均 ~65%、Gemini Robotics-ER は sim および実世界でデモンストレーションを用いて ~65%、ゼロ-shot の結果を上回るタスクも多い。
• エンドツーエンドの Gemini Robotics は、クラウドバックド VLA バックボーンとオンボードデコーダを組み合わせることで、低遅延・高頻度制御（約 250 ms のレイテンシ、約 50 Hz の制御）を実現し、さまざまなタスクと embodiment に対して反応的かつ器用な操作を可能にする。