[論文レビュー] G2P: Gaussian-to-Point Attribute Alignment for Boundary-Aware 3D Semantic Segmentation

Hojun Song, Chae-yeong Song+8 more|arXiv (Cornell University)|Jan 7, 2026

3D Shape Modeling and Analysis被引用数 0

ひとこと要約

G2P は 3D Gaussian Splatting 属性を点に転送し、2D supervision なしで appearance-guided な境界認識を可能にする 3D セマンティックセグメンテーションを実現します。幾何学的に曖昧なクラスに対して特に識別性を向上させるため、点へガウス属性を転移して幾何学を保つ。

ABSTRACT

Semantic segmentation on point clouds is critical for 3D scene understanding. However, sparse and irregular point distributions provide limited appearance evidence, making geometry-only features insufficient to distinguish objects with similar shapes but distinct appearances (e.g., color, texture, material). We propose Gaussian-to-Point (G2P), which transfers appearance-aware attributes from 3D Gaussian Splatting to point clouds for more discriminative and appearance-consistent segmentation. Our G2P address the misalignment between optimized Gaussians and original point geometry by establishing point-wise correspondences. By leveraging Gaussian opacity attributes, we resolve the geometric ambiguity that limits existing models. Additionally, Gaussian scale attributes enable precise boundary localization in complex 3D scenes. Extensive experiments demonstrate that our approach achieves superior performance on standard benchmarks and shows significant improvements on geometrically challenging classes, all without any 2D or language supervision.

研究の動機と目的

• 外観情報を必要とする疎点群における幾何的バイアスを動機づけ、解消する。
• 幾何と外観を Gaussian Splatting 属性で結合した統一的な 3D 表現を提案する。
• Gaussian を点に合わせて幾何学を変えずに拡張する Gaussian-to-Point 増強を開発する。
• 境界局在化のための Gaussian スケールと、外観誘導のための不透明度を活用する。
• 蒸留メカニズムと境界認識トレーニング信号を通じて外観誘導学習を有効にする。

提案手法

• Gaussian-to-Point Feature Augmentation: 距離ベース、異方性を考慮した Mahalanobis 距離を用いてガウスを点と対になるよう整列させ、各点にガウス由来のスケールと不透明度を付与する。
• GS Primitives-guided Learning: 事前学習済み外観エンコーダから外観手がかりを蒸留し、3D セグメンテーションモデルの意味表現を安定化させる。
• Scale-based Boundary Extraction: 集約された Gaussian スケールの大きさを用いて境界の疑似ラベルを生成し、物体縁を洗練させる。
• Appearance Encoder Pre-training: augmented point representations 上で自己教師付き（ Sonata-based ）に appearance エンコーダを事前学習し、セグメンテーション backbone に蒸留する。
• Boundary and Semantic Supervision: semantic ラベル、境界疑似ラベル、および appearance 蒸留損失を結合目的で訓練する。
• Inference は 3D 点データのみに基づき、クロスモーダル入力を必要とせず学習済み蒸留と拡張特徴に依存する。

実験結果

リサーチクエスチョン

• RQ1 Gaussian Splatting 属性を点群へ効果的に alignment して、元の geometries を変えずに appearance cues を追加できるか。
• RQ2 Gaussian 由来のスケールと不透明度は、幾何的に曖昧なオブジェクトの境界局在化と意味的識別を向上させるか。
• RQ3 3D の Gaussian ベース教師からの appearance 蒸留は、外部監視なしで 3D セグメンテーション性能を改善するか。

主な発見

Method	Venue	mIoU	mAcc	OA
MinkUNet † [ 7 ]	CVPR’19	72.3	80.2	90.0
OctFormer † [ 48 ]	TOG’23	74.3	82.6	90.9
PT v3 † [ 52 ]	CVPR’24	77.0	84.3	92.1
UniPre3D ∗ [ 49 ]	CVPR’25	77.6	85.0	92.1
ODIN (Swin-B) ∗ [ 20 ]	CVPR’24	77.8	–	–
BFANet † [ 63 ]	CVPR’25	77.3	84.1	92.2
G2P (Ours)	–	78.4	85.2	92.5

• G2P は ScanNet v2 v2 の検証セットで mIoU 78.4、mAcc 85.2、OA 92.5（GS-guided）と、最先端に近い性能を達成。
• G2P は幾何的に難しいクラス（例: refrigerator, shower curtain）で強力なベースラインと比較して顕著な改善を示す。
• 境界ガイダンスと外観蒸留の両方が改善に寄与し、両者を組み合わせると最良の結果となる。
• ScanNet200 では G2P が 35.5 mIoU を達成し、BFANet と競合、最良の非事前学習法に近い。
• ScanNet++ と Matterport3D の一般化実験で PT v3 ベースラインより一貫した改善（ScanNet++ で mIoU 増分 0.8、Matterport3D で 0.4）。
• Mahalanobis 距離を用いた Gaussian 対応付け（k ≈ 20 が最適）により点群への Gaussian のマッチングの最良トレードオフを提供。