Skip to main content
QUICK REVIEW

[논문 리뷰] MG-Grasp: Metric-Scale Geometric 6-DoF Grasping Framework with Sparse RGB Observations

Kangxu Wang, Siang Chen|arXiv (Cornell University)|2026. 03. 17.
Robot Manipulation and LearningEngineering인용 수 0
한 줄 요약

MG-Grasp는 깊이 센서 없이 스파스 RGB 뷰로부터 metric-scale, 다중 뷰 일관 기하를 재구성하고 안정적인 그랩을 직접 생성하는 깊이 프리 프레임워크이다. GraspNet-1Billion에서 RGB 기반 baselines를 능가하며 현실 세계의 탁상 위 장면에서도 작동한다.

ABSTRACT

Single-view RGB-D grasp detection remains a common choice in 6-DoF robotic grasping systems, which typically requires a depth sensor. While RGB-only 6-DoF grasp methods has been studied recently, their inaccurate geometric representation is not directly suitable for physically reliable robotic manipulation, thereby hindering reliable grasp generation. To address these limitations, we propose MG-Grasp, a novel depth-free 6-DoF grasping framework that achieves high-quality object grasping. Leveraging two-view 3D foundation model with camera intrinsic/extrinsic, our method reconstructs metric-scale and multi-view consistent dense point clouds from sparse RGB images and generates stable 6-DoF grasp. Experiments on GraspNet-1Billion dataset and real world demonstrate that MG-Grasp achieves state-of-the-art (SOTA) grasp performance among RGB-based 6-DoF grasping methods.

연구 동기 및 목표

  • 깊이를 사용하지 않는 6-DoF 그랩을 sparse multi-view RGB 입력으로 활용하고 깊이 센서를 사용하지 않는 동기를 제시한다.
  • KB-scale 세계 좌표계에 맞추어 예측되어도-scale 깊이를 ground하는 metric-scale 깊이 복원을 개발한다.
  • 신뢰할 수 있는 그랩 생성을 위한 기하학을 정교화하기 위해 밀도 높은 다중 뷰 일관성을 강제한다.
  • metric-scale 재구성과 그랩 생성 모듈을 통합된 파이프라인으로 결합한다.
  • GraspNet-1Billion 및 실험 로봇 실험에서 RGB 기반의 최신 성능을 보여주는 RGB 기반 그랩의 선두를 보여준다.

제안 방법

  • 두 뷰 깊이를 삼각측량으로 metric 깊이로 변환하고 알려진 카메라 포즈로 스케일을 맞추는 metric-Scale Depth Map Generator.
  • MASt3R를 사용한 깊이 축적 및 조밀한 대응으로 초기 스케일 업(depth maps)과 대응 지점을 생성한다.
  • 다중 뷰 간의 깊이를 공통 metric 프레임에 맞추기 위한 삼각측량 기반 스케일 회복.
  • 3D 일관성을 우선시하는 2단계 신뢰도 가중 다중 뷰 정제(정합-2D 재투영 일관성 강제).
  • 마스크링과 필터링으로 다중 뷰 일관성의 그랩 지향 포인트 클라우드를 융합한 씬 융합.
  • LoG 기반 로컬 그랩 모델이 refined 포인트 클라우드에서 영역 수준의 6-DoF 그랩 후보를 디코딩한다.
Figure 1: Pipeline of MG-Grasp: given sparse posed RGB images, we first perform Depth Aggregation and Dense Correspondence to obtain up-to-scale pointmaps, and then recover metric scale via Triangulation-based Scale Recovery. The metric pointmaps are further refined with multi-view consistency optim
Figure 1: Pipeline of MG-Grasp: given sparse posed RGB images, we first perform Depth Aggregation and Dense Correspondence to obtain up-to-scale pointmaps, and then recover metric scale via Triangulation-based Scale Recovery. The metric pointmaps are further refined with multi-view consistency optim

실험 결과

연구 질문

  • RQ1깊이 센서를 사용하지 않고 알려진 내부 파라미터/외부 파라미터를 통해 sparse RGB 뷰에서 metric-scale 기하를 회복할 수 있는가?
  • RQ2두 뷰 삼각측량 고정과 다중 뷰 정제가 metric-scale, 뷰 간 일관된 기하를 제공하여 안정적인 6-DoF 그랩에 적합한가?
  • RQ3RGB-만 MG-Grasp가 GraspNet-1Billion에서 RGB-D 및 다른 RGB-만 baselines와 비교해 어떤 차이를 보이는가?
  • RQ4입력 뷰 수가 재구성 품질과 그랩 성능에 어떤 영향을 미치는가?
  • RQ5삼각측량 기반 스케일 회복과 다중 뷰 정제가 최종 그랩 성능에 얼마나 기여하는가?

주요 결과

  • MG-Grasp는 Seen, Similar, Novel 분할에서 RGB-만으로도 최첨단 6-DoF 그랩 성능을 달성한다.
  • 삼각측량 기반 스케일 회복이 업-투-스케일(depth를 metric 좌표로) 지오메트리를 확보하여 metric-depth 초기화를 가능하게 한다.
  • 두 단계의 신뢰도 가중 다중 뷰 정제가 다중 뷰 기하 일관성과 그랩 신뢰도를 크게 향상시킨다.
  • MG-Grasp는 4개의 sparse RGB 뷰를 사용한 현실 세계의 탁상 실험에서 견고한 그랩을 보이며 높은 성공 및 완료율을 달성한다.
  • 입력 뷰 수를 2에서 4~6으로 늘리면 품질이 크게 향상되며, 약 5~6뷰를 넘으면 향상 폭이 포화되어 계산과 품질의 균형이 맞춰진다.
  • RGB 기반 baselines와 비교할 때 MG-Grasp는 깊이 센서를 사용하지 않으면서 RGB-D 상한선에 근접하는 격차를 좁힌다.
Figure 2: Left: metrically scaled pointmaps before refinement; right: refined pointmaps. The highlighted regions (red boxes) illustrate misaligned surface layers before refinement, which are largely removed after refinement, resulting in multi-view consistent geometry for grasping.
Figure 2: Left: metrically scaled pointmaps before refinement; right: refined pointmaps. The highlighted regions (red boxes) illustrate misaligned surface layers before refinement, which are largely removed after refinement, resulting in multi-view consistent geometry for grasping.

이 논문 읽기

누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.

누빈트에서 이 논문 읽기

이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.