[논문 리뷰] DiffTrans: Differentiable Geometry-Materials Decomposition for Reconstructing Transparent Objects

Changpu Li, Shuang Wu외 4명|arXiv (Cornell University)|2026. 02. 28.

Computer Graphics and Visualization Techniques인용 수 0

한 줄 요약

DiffTrans는 다중 뷰 이미지로부터 투명 객체의 기하학과 재료를 함께 재구성하기 위한 차분 가능한 프레임워크를 도입하며, 초기 기하를 위해 FlexiCubes를 사용하고, 환경 방사장 필드, 그리고 엔드-투-엔드로 IoR과 흡수를 최적화하는 재귀적 차분 가능 메시 광선 추적기를 활용한다.

ABSTRACT

Reconstructing transparent objects from a set of multi-view images is a challenging task due to the complicated nature and indeterminate behavior of light propagation. Typical methods are primarily tailored to specific scenarios, such as objects following a uniform topology, exhibiting ideal transparency and surface specular reflections, or with only surface materials, which substantially constrains their practical applicability in real-world settings. In this work, we propose a differentiable rendering framework for transparent objects, dubbed DiffTrans, which allows for efficient decomposition and reconstruction of the geometry and materials of transparent objects, thereby reconstructing transparent objects accurately in intricate scenes with diverse topology and complex texture. Specifically, we first utilize FlexiCubes with dilation and smoothness regularization as the iso-surface representation to reconstruct an initial geometry efficiently from the multi-view object silhouette. Meanwhile, we employ the environment light radiance field to recover the environment of the scene. Then we devise a recursive differentiable ray tracer to further optimize the geometry, index of refraction and absorption rate simultaneously in a unified and end-to-end manner, leading to high-quality reconstruction of transparent objects in intricate scenes. A prominent advantage of the designed ray tracer is that it can be implemented in CUDA, enabling a significantly reduced computational cost. Extensive experiments on multiple benchmarks demonstrate the superior reconstruction performance of our DiffTrans compared with other methods, especially in intricate scenes involving transparent objects with diverse topology and complex texture. The code is available at https://github.com/lcp29/DiffTrans.

연구 동기 및 목표

• 다중 시야에서 얻은 실루엣으로 다양한 토폴로지를 가진 투명 객체의 기하학을 재구성한다.
• 환경 조명과 씬 방사광을 동시에 복구한다.
• 연결된 엔드-투-엔드 차분 가능한 프레임워크에서 기하학, IoR 및 흡수율을 공동으로 최적화한다.
• 복잡한 텍스처를 가진 투명 객체에 대해 씬 편집 및 재조명을 가능하게 한다.

제안 방법

• 다중 뷰 마스크로부터 초기 기하를 얻기 위해 팽창 및 매끄러움 정규화를 갖는 Iso-surface 표현으로 FlexiCubes를 사용한다.
• 마스크 바깥 이미지 영역으로부터 환경 방사 필드를 초기화한다.
• CUDA/OptiX로 구현된 재귀적 차분 가능 메시 광선 추적기를 개발하여 기하학, IoR, 흡수율을 공동으로 최적화한다.
• 흡수 매질에서의 광전달을 차분 가능 3D 흡수 텍스처와 단순화된 Radiative Transport Equation를 통해 모델링한다.
• 씬 정규화 손실을 갖춘 차분 가능한 메시-레이 트레이싱을 적용하여 기하학 및 재료 특성을 다듬는다.

실험 결과

연구 질문

• RQ1 다중 뷰 이미지에서 투명 객체의 복잡한 토폴로지를 가진 기하학과 재료(IoR 및 흡수)를 함께 재구성할 수 있는가?
• RQ2 레이 트레이싱에서의 차분 가능한 재귀가 표면이나 불투명 타겟에 초점을 맞춘 기존 방법에 비해 기하학 및 재료 추정에 어떻게 기여하는가?
• RQ3 초기 기하와 환경 초기화가 수렴 및 최종 재구성 품질에 어떤 영향을 미치는가?
• RQ4 흡수 및 굴절을 함께 모델링하는 것이 재조명 품질 및 새로운 뷰 합성에 어떤 영향을 미치는가?
• RQ5 투명 객체의 차분 가능한 렌더링에서 초기화 기반 안정성과 엔드-투-엔드 최적화 간의 트레이드오프는 무엇인가?

주요 결과

Method	CD(×10^-4) ↓	F1(×10^-1) ↑
NeRO	36.022	5.691
NU-NeRF	7.891	8.026
NeRRF	13.341	6.916
Ours(S1)	4.666	8.088
Ours	3.264	8.386

• DiffTrans는 NeRO, NU-NeRF 및 NeRRF에 비해 합성 장면에서 평균 기하 재구성(CD)이 더 낮고 F1 점수가 더 높게 나타난다.
• 6개 합성 장면에 걸친 학습된 IoR 값은 Ground Truth와 근접하게 일치하며 작은 차이가 있다.
• 재귀적 차분 가능 메시 광선 추적기를 통한 공동 최적화가 초기 단계 이후 기하학의 정교화를 개선한다.
• DiffTrans는 PSLRPSNR, SSIM, LPIPS 지표에서 Baseline 방법들을 상회하는 합리적인 재조명 결과를 가능하게 한다.
• 톤 규제는 전반적으로 새로운 뷰 합성 및 재조명 성능을 향상시키는 경향을 보인다.