[논문 리뷰] ThermoSplat: Cross-Modal 3D Gaussian Splatting with Feature Modulation and Geometry Decoupling

Zhaoqi Su, Shihai Chen외 4명|arXiv (Cornell University)|2026. 01. 22.

3D Shape Modeling and Analysis인용 수 0

한 줄 요약

ThermoSplat은 교차-모달 FiLM 특징 모듈화와 모달리티-적응 기하학적 디커플링을 도입하여 하이브리드 명시-암시 렌더링 파이프라인으로 고충실도 RGB-열 3D 장면 재구성을 가능하게 한다.

ABSTRACT

Multi-modal scene reconstruction integrating RGB and thermal infrared data is essential for robust environmental perception across diverse lighting and weather conditions. However, extending 3D Gaussian Splatting (3DGS) to multi-spectral scenarios remains challenging. Current approaches often struggle to fully leverage the complementary information of multi-modal data, typically relying on mechanisms that either tend to neglect cross-modal correlations or leverage shared representations that fail to adaptively handle the complex structural correlations and physical discrepancies between spectrums. To address these limitations, we propose ThermoSplat, a novel framework that enables deep spectral-aware reconstruction through active feature modulation and adaptive geometry decoupling. First, we introduce a Spectrum-Aware Adaptive Modulation that dynamically conditions shared latent features on thermal structural priors, effectively guiding visible texture synthesis with reliable cross-modal geometric cues. Second, to accommodate modality-specific geometric inconsistencies, we propose a Modality-Adaptive Geometric Decoupling scheme that learns independent opacity offsets and executes an independent rasterization pass for the thermal branch. Additionally, a hybrid rendering pipeline is employed to integrate explicit Spherical Harmonics with implicit neural decoding, ensuring both semantic consistency and high-frequency detail preservation. Extensive experiments on the RGBT-Scenes dataset demonstrate that ThermoSplat achieves state-of-the-art rendering quality across both visible and thermal spectrums.

연구 동기 및 목표

• RGB와 열 모달리티 간의 격차를 해소하여 다양한 조명 및 기상 조건에서의 3D 장면 재구성을 달성한다.
• 교차-모달 특징 모듈화를 통해 공유 잠재 특징을 열 선험 정보에 조건화하여 가시 텍스처 합성을 유도한다.
• 스펙트럼별 물리적 차이를 다루기 위해 모달리티 간 기하학을 분리한다.
• 명시-암시 렌더링 파이프라인을 통해 고주파 디테일을 보존한다.
• RGBT-Scenes 데이터셋에서 최첨단 렌더링 품질을 보여준다.

제안 방법

• 잠재 특징을 담은 다중 모달 3D 가우시안 프리미티브로 장면을 표현한다.
• 가시 텍스처 합성을 위해 공유 잠재 특징을 열 선험 정보에 조건화하기 위해 교차-모달 FiLM 모듈화를 적용한다.
• 학습 가능한 열 불투명도 오프셋과 열 분기에 대한 독립 래스터화를 갖춘 모달리티-적응 기하학적 디커플링을 도입한다.
• RGB 합성을 위한 명시적 구면조화(Spherical Harmonics)와 암시적 신경 디코딩을 결합한 하이브리드 렌더링 파이프라인을 사용한다.
• 스펙트럼 재구성, 특징 수준 감독, 열 공간 규제를 포함하는 복합 손실로 학습한다.

실험 결과

연구 질문

• RQ1 가시 텍스처를 적외선 구조 선험에 정렬시키기 위해 교차-모달 정보를 어떻게 효과적으로 모듈화할 수 있는가?
• RQ2 RGB와 열 데이터 간의 깊이 및 가려짐 불일치를 완화하기 위한 모달리티-specific 기하학적 디커플링이 가능한가?
• RQ3 하이브리드 SH + 신경 디코딩 프레임워크가 교차-모달 시맨틱 일관성을 유지하면서 고주파 디테일을 보존하는가?
• RQ4 RGBT-Scenes에서 기존 RGB-열 3D 재구성 방법에 비해 ThermoSplat의 성능 향상은 어느 정도인가?
• RQ5 제안된 구성요소들(FiLM 모듈화, 기하학적 디커플링 및 잠재 감독)이 렌더링 품질에 어떻게 기여하는가?

주요 결과

• ThermoSplat은 RGBT-Scenes 데이터셋에서 RGB 및 열 모달리티 모두에서 최첨단 렌더링 품질을 달성한다.
• 열 선험 정보를 활용한 교차-모달 FiLM 모듈화가 가시 텍스처 합성과 교차 모달 정렬을 개선한다.
• 모달리티-적응 기하학적 디커플링은 열 분기의 기하를 분리함으로써 깊이/가림 아티팩트를 감소시킨다.
• 명시적 SH를 통해 고주파 디테일을 보존하면서 교차-모달 시맨틱 일관성을 보장하는 하이브리드 RGB 렌더링.
• 정량적 결과는 PSNR, SSIM 및 LPIPS에서 기준선 대비 전 영역에서 개선을 보여주며(예: RGB Avg PSNR ~25.23, Thermal Avg PSNR ~26.08, RGB SSIM ~0.871, Thermal SSIM ~0.897, RGB LPIPS ~0.153, Thermal LPIPS ~0.101).
• 모듈화, 기하학적 디커플링 및 잠재 감독의 기여를 확인하는 제거 실험(ablation)이 있다.