Skip to main content
QUICK REVIEW

[논문 리뷰] FreeArtGS: Articulated Gaussian Splatting Under Free-moving Scenario

Hang Dai, Hongwei Fan|arXiv (Cornell University)|2026. 03. 23.
Robot Manipulation and LearningEngineering인용 수 0
한 줄 요약

FreeArtGS는 단일 카메라 RGB-D 영상에서 움직이는 부품을 함께 분할하고, 관절 유형/축을 추정하며, 외관, 기하학, 관절 작용을 위한 가우시안 스플래팅을 최적화하여 자유롭게 움직이는 관절 객체를 재구성합니다. FreeArt-21, Video2Articulation-S, 실제 데이터에서 기준선보다 우수합니다.

ABSTRACT

The increasing demand for augmented reality and robotics is driving the need for articulated object reconstruction with high scalability. However, existing settings for reconstructing from discrete articulation states or casual monocular videos require non-trivial axis alignment or suffer from insufficient coverage, limiting their applicability. In this paper, we introduce FreeArtGS, a novel method for reconstructing articulated objects under free-moving scenario, a new setting with a simple setup and high scalability. FreeArtGS combines free-moving part segmentation with joint estimation and end-to-end optimization, taking only a monocular RGB-D video as input. By optimizing with the priors from off-the-shelf point-tracking and feature models, the free-moving part segmentation module identifies rigid parts from relative motion under unconstrained capture. The joint estimation module calibrates the unified object-to-camera poses and recovers joint type and axis robustly from part segmentation. Finally, 3DGS-based end-to-end optimization is implemented to jointly reconstruct visual textures, geometry, and joint angles of the articulated object. We conduct experiments on two benchmarks and real-world free-moving articulated objects. Experimental results demonstrate that FreeArtGS consistently excels in reconstructing free-moving articulated objects and remains highly competitive in previous reconstruction settings, proving itself a practical and effective solution for realistic asset generation. The project page is available at: https://freeartgs.github.io/

연구 동기 및 목표

  • 움직이는 고정 기저 부품이나 고정된 관절 상태 없이 자유롭게 움직이는 시나리오에서 확장 가능한 관절 객체 재구성을 동기화합니다.
  • 고정 기저 가정이나 미리 정의된 모션 패턴 없이 자유롭게 움직이는 부품 분할, 관절 추정, 엔드-투-엔드 가우시안 스플래팅 최적화의 세 모듈 파이프라인을 제안합니다.
  • 새로운 FreeArt-21 벤치마크, Video2Articulation-S 설정, 실제 객체에서 견고성과 정확성을 입증합니다.

제안 방법

  • 밀집 2D 추적과 사전 학습된 특징을 사용하여 정적 기반 가정 없이 최적화 기반의 자유 움직임 부품 분할을 수행합니다.
  • 오프-더-셀프 자세 추정기를 사용해 부품-카메라 변환을 추정하고 두 개의 정준 부품 가우시안을 도출하여 이를 통일 좌표계로 보정합니다.
  • 상대 부품 움직임으로부터 관절 유형(회전/활주)과 축을 유추하고, 모양, 기하학, 카메라 및 관절을 미분가능한 가우시안 스플래팅 렌더러를 사용한 2단계 엔드-투-엔드 최적화로 정제합니다.

실험 결과

연구 질문

  • RQ1관절 객체가 물체 자세와 관절 상태가 임의로 변화하는 자유 움직임 설정에서 정확하게 재구성될 수 있는가?
  • RQ2정적 기저 부품이나 미리 정의된 모션 패턴을 가정하지 않고도 강인한 부품 분할과 관절 추정을 달성할 수 있는가?
  • RQ3가우시안 스플래팅을 활용한 엔드-투-엔드 최적화가 단안 RGB-D 입력하에서 고충실도 기하학, 텍스처, 정확한 관절 구성을 생성하는가?

주요 결과

  • FreeArtGS는 FreeArt-21에서 평균 21개 객체에 대해 축 정확도 약 1도, 기하학 오차는 1 cm 미만을 달성합니다.
  • 스무딩의 제거, 초기화 정규화 제거, 노이즈 저항성 제거, 블렌디드 렌더링 제거 등 축/기하/표현 지표가 ablations에서 크게 감소합니다.
  • Video2Articulation-S에서 FreeArtGS는 축, 상태, Chamfer 거리에서 기준선보다 현저히 우수한 성능을 보이며 렌더링 품질도 경쟁력을 유지합니다.
  • 실세계 실험에서 6개의 객체에 대해 관절 유형/축 예측의 정확성과 견고한 기하/텍스처 재구성을 확인했습니다.
  • 엔드-투-엔드 최적화에서 블렌디드 렌더링은 하드 어사인먼트 버전에 비해 PSNR을 약 2 dB 증가시킵니다.
  • 제안된 자유 이동 시나리오에서 기존 재구성 설정에서도 경쟁력 있는 성능을 유지하면서 뛰어난 성능을 발휘합니다.

이 논문 읽기

누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.

누빈트에서 이 논문 읽기

이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.