[論文レビュー] FreeArtGS: Articulated Gaussian Splatting Under Free-moving Scenario

Hang Dai, Hongwei Fan+4 more|arXiv (Cornell University)|Mar 23, 2026

Robot Manipulation and Learning被引用数 0

ひとこと要約

FreeArtGS は monocular RGB-D ビデオから自由に動く可動部品を共同でセグメンテーションし、関節タイプ/軸を推定し、外観・幾何・関節の表現を最適化することで自由に動く可動物体を再構築します。FreeArt-21、Video2Articulation-S、および実世界データでベースラインを上回ります。

ABSTRACT

The increasing demand for augmented reality and robotics is driving the need for articulated object reconstruction with high scalability. However, existing settings for reconstructing from discrete articulation states or casual monocular videos require non-trivial axis alignment or suffer from insufficient coverage, limiting their applicability. In this paper, we introduce FreeArtGS, a novel method for reconstructing articulated objects under free-moving scenario, a new setting with a simple setup and high scalability. FreeArtGS combines free-moving part segmentation with joint estimation and end-to-end optimization, taking only a monocular RGB-D video as input. By optimizing with the priors from off-the-shelf point-tracking and feature models, the free-moving part segmentation module identifies rigid parts from relative motion under unconstrained capture. The joint estimation module calibrates the unified object-to-camera poses and recovers joint type and axis robustly from part segmentation. Finally, 3DGS-based end-to-end optimization is implemented to jointly reconstruct visual textures, geometry, and joint angles of the articulated object. We conduct experiments on two benchmarks and real-world free-moving articulated objects. Experimental results demonstrate that FreeArtGS consistently excels in reconstructing free-moving articulated objects and remains highly competitive in previous reconstruction settings, proving itself a practical and effective solution for realistic asset generation. The project page is available at: https://freeartgs.github.io/

研究の動機と目的

• 静的ベース部品や固定された関節状態を前提としない、自由に動く状況でのスケーラブルな可動物体再構成を動機づける。
• 静的ベースの仮定なしで自由動作部分のセグメンテーション、関節推定、エンドツーエンドの Gaussian Splatting 最適化という三モジュールのパイプラインを提案する。
• 新しい FreeArt-21 ベンチマーク、Video2Articulation-S 設定、および実世界オブジェクトで頑健性と精度を実証する。

提案手法

• 密な 2D トラッキングと事前学習特徴を用いて、静的ベースの仮定なしに最適化ベースの自由動作部品セグメンテーションを実行する。
• オフ・ザ・シェルフのポーズ推定手法で部品-カメラ変換を推定し、二つの標準的な部品ガウシアンを導出して統一座標系に較正する。
• 相対的な部品運動から関節タイプ（回動 or 直線）と軸を推定し、外観・幾何・カメラ・関節を洗練させるエンドツーエンドの二段階最適化を、微分可能な Gaussian Splatting レンダラーを用いて実行する。

実験結果

リサーチクエスチョン

• RQ1 物体の姿勢と関節状態の両方が任意に変化する自由動作設定で、可動物体は正確に再構成できるか。
• RQ2 静的ベース部品や事前定義モーションパターンを仮定せずに、頑健な部品セグメンテーションと関節推定をどのように達成できるか。
• RQ3 Gaussian Splatting を用いたエンドツーエンド最適化は monocular RGB-D 入力下で高忠実な幾何・テクスチャ・正確な関節を生み出せるか。

主な発見

Joint Type	Method	Axis (deg) ↓	Position (cm) ↓	State (deg/cm) ↓	CD-w (cm) ↓	CD-m (cm) ↓	CD-s (cm) ↓	PSNR (dB) ↑
Revolute	Ours	1.04 ± 1.03	0.29 ± 0.36	1.43 ± 1.20	0.14 ± 0.13	0.28 ± 0.36	0.97 ± 2.69	24.02 ± 3.15
Revolute	Ours w/o Smooth Loss	1.?.	?	?	?	?	?	?
Revolute	Ours w/o Init Loss	9.35 ± 13.50	19.58 ± 39.17	14.64 ± 19.90	0.75 ± 0.90	1.90 ± 3.11	13.07 ± 7.26	13.07 ± 7.26
Revolute	Ours w/o Noise Resistance	4.75 ± 7.83	2.22 ± 6.89	1.30 ± 1.09	0.17 ± 0.15	0.48 ± 0.79	22.65 ± 3.13	22.65 ± 3.13
Revolute	Ours w/o Blended Rendering	1.72 ± 2.38	1.88 ± 6.23	1.88 ± 2.54	0.12 ± 0.07	0.34 ± 0.52	1.05 ± 2.61	22.23 ± 2.64
Revolute	Video2Articulation [24]	18.34 ± 32.09	13.00 ± 25.00	14.32 ± 26.35	1.00 ± 1.00	-	-	-

• FreeArtGS は FreeArt-21 の全对象 21 個について軸の精度が約 1 度、幾何誤差が 1 cm 未満という結果を平均で達成した。
• アブレーション実験では、滑らかさの除去、初期正則化の除去、ノイズ耐性の喪失、またはブレンドレンダリングを取り除くと、関節・幾何・外観の指標が著しく劣化した。
• Video2Articulation-S では、FreeArtGS が軸・状態・Chamfer 距離でベースラインを大幅に上回り、レンダリング品質も競合力を維持した。
• 実世界実験では、六つのオブジェクトに対して関節タイプ/軸の推定が正確で、幾何・テクスチャ再構成が頑健であることを示した。
• エンドツーエンド最適化におけるブレンドレンダリングは、ハード割り当て変種と比較して PSNR を約 2 dB 向上させた。
• 提案する自由動作シナリオにおいて、既存の再構成設定でも競争力を保ちつつ、自由動作の場での優位性を発揮する。