Skip to main content
QUICK REVIEW

[论文解读] MG-Grasp: Metric-Scale Geometric 6-DoF Grasping Framework with Sparse RGB Observations

Kangxu Wang, Siang Chen|arXiv (Cornell University)|Mar 17, 2026
Robot Manipulation and LearningEngineering被引用 0
一句话总结

MG-Grasp 是一个深度不依赖的六自由度抓取框架,通过稀疏RGB视图的三角测量尺度 grounding 和多视图 refinement,从稀疏视图恢复度量尺度的多视图一致几何,并直接生成稳定抓取。它在 GraspNet-1Billion 上超越基于 RGB 的基线,并可在真实世界桌面场景中工作。

ABSTRACT

Single-view RGB-D grasp detection remains a common choice in 6-DoF robotic grasping systems, which typically requires a depth sensor. While RGB-only 6-DoF grasp methods has been studied recently, their inaccurate geometric representation is not directly suitable for physically reliable robotic manipulation, thereby hindering reliable grasp generation. To address these limitations, we propose MG-Grasp, a novel depth-free 6-DoF grasping framework that achieves high-quality object grasping. Leveraging two-view 3D foundation model with camera intrinsic/extrinsic, our method reconstructs metric-scale and multi-view consistent dense point clouds from sparse RGB images and generates stable 6-DoF grasp. Experiments on GraspNet-1Billion dataset and real world demonstrate that MG-Grasp achieves state-of-the-art (SOTA) grasp performance among RGB-based 6-DoF grasping methods.

研究动机与目标

  • 通过稀疏多视图 RGB 输入且不使用深度传感器,激发深度自由的 6-DoF 抓取。
  • 开发能够将和尺度无关的预测依据全球度量坐标系进行尺度对齐的深度恢复。
  • 强制密集、多视图一致性以对几何进行 refinement,从而实现可靠的抓取生成。
  • 在一个统一的流程中将度量尺度重建与抓取生成模块集成。
  • 在 GraspNet-1Billion 的 RGB 基线上展示最先进的 RGB 基抓取性能以及在真实机器人实验中的应用。

提出的方法

  • 将两视图深度转换为度量深度并通过已知相机位姿进行标度的 Metric-Scale Depth Map Generator。
  • 使用 MASt3R 进行深度聚合和稠密对应,创建初始的尺度未定深度图和对应关系。
  • 基于三角测量的尺度恢复,将各视图的深度对齐至公用的度量坐标系。
  • 分两阶段的、置信度加权的多视图 refinement,先强化 3D 一致性再强化 2D 重投影一致性。
  • 将多视图一致、面向抓取的点云与掩模和过滤条件融合为一个融合场景。
  • 基于 LoG 的局部抓取模型从 refined 点云解码区域级的 6-DoF 抓取候选。
Figure 1: Pipeline of MG-Grasp: given sparse posed RGB images, we first perform Depth Aggregation and Dense Correspondence to obtain up-to-scale pointmaps, and then recover metric scale via Triangulation-based Scale Recovery. The metric pointmaps are further refined with multi-view consistency optim
Figure 1: Pipeline of MG-Grasp: given sparse posed RGB images, we first perform Depth Aggregation and Dense Correspondence to obtain up-to-scale pointmaps, and then recover metric scale via Triangulation-based Scale Recovery. The metric pointmaps are further refined with multi-view consistency optim

实验结果

研究问题

  • RQ1在已知内参/外参且不使用深度传感器的前提下,是否能从稀疏 RGB 视图中恢复度量尺度几何?
  • RQ2两视图三角测量 grounding 加上多视图 refinement 是否能够得到适用于可靠六自由度抓取的度量尺度、跨视图一致几何?
  • RQ3相比仅使用 RGB 的 MG-Grasp,在 GraspNet-1Billion 以及真实世界测试中,与 RGB-D 及其他 RGB-Only 基线相比如何?
  • RQ4输入视图数量对重建质量与抓取性能有何影响?
  • RQ5三角测量尺度恢复与多视图 refinement 对最终抓取性能贡献有多大?

主要发现

  • MG-Grasp 在 GraspNet-1Billion 的 Seen、Similar、Novel 三个分支上实现了最先进的 RGB-only 6-DoF 抓取性能。
  • 基于三角测量的尺度恢复将尺度可到度量坐标的深度进行 ground up,从而实现度量深度初始化。
  • 两阶段、带置信度加权的多视图 refinement 能显著提高多视图几何一致性与抓取可靠性。
  • MG-Grasp 在真实桌面环境的四个稀疏 RGB 视图抓取实验中表现出鲁棒性,达到较高的成功率与完成率。
  • 将输入视图从 2 增加到 4–6 时可获得显著提升;在约 5–6 视图后提升趋于饱和,在质量与计算之间取得平衡。
  • 与基于 RGB 的基线相比,MG-Grasp 在接近 RGB-D 的上限的同时在无需深度传感器的情况下工作,缩小了差距。
Figure 2: Left: metrically scaled pointmaps before refinement; right: refined pointmaps. The highlighted regions (red boxes) illustrate misaligned surface layers before refinement, which are largely removed after refinement, resulting in multi-view consistent geometry for grasping.
Figure 2: Left: metrically scaled pointmaps before refinement; right: refined pointmaps. The highlighted regions (red boxes) illustrate misaligned surface layers before refinement, which are largely removed after refinement, resulting in multi-view consistent geometry for grasping.

阅读本论文

在 Nubint 阅读器中打开原文,边读边就任意段落提问。

在 Nubint 中阅读本论文

本解读由 AI 根据论文原文生成,引用前请核对原文。