[論文レビュー] DiffTrans: Differentiable Geometry-Materials Decomposition for Reconstructing Transparent Objects

Changpu Li, Shuang Wu+4 more|arXiv (Cornell University)|Feb 28, 2026

Computer Graphics and Visualization Techniques被引用数 0

ひとこと要約

DiffTrans は、FlexiCubes を初期ジオメトリとして用い、環境輻射場と再帰的に微分可能なメッシュレイトレーサを用いて、IoR と吸収をエンドツーエンドで最適化することで、多視点画像から透明物体のジオメトリと材料を共同再構成する微分可能なフレームワークを導入します（初期ジオメトリ推定と環境推定、そしてエンドツーエンドの最適化を組み合わせる）。

ABSTRACT

Reconstructing transparent objects from a set of multi-view images is a challenging task due to the complicated nature and indeterminate behavior of light propagation. Typical methods are primarily tailored to specific scenarios, such as objects following a uniform topology, exhibiting ideal transparency and surface specular reflections, or with only surface materials, which substantially constrains their practical applicability in real-world settings. In this work, we propose a differentiable rendering framework for transparent objects, dubbed DiffTrans, which allows for efficient decomposition and reconstruction of the geometry and materials of transparent objects, thereby reconstructing transparent objects accurately in intricate scenes with diverse topology and complex texture. Specifically, we first utilize FlexiCubes with dilation and smoothness regularization as the iso-surface representation to reconstruct an initial geometry efficiently from the multi-view object silhouette. Meanwhile, we employ the environment light radiance field to recover the environment of the scene. Then we devise a recursive differentiable ray tracer to further optimize the geometry, index of refraction and absorption rate simultaneously in a unified and end-to-end manner, leading to high-quality reconstruction of transparent objects in intricate scenes. A prominent advantage of the designed ray tracer is that it can be implemented in CUDA, enabling a significantly reduced computational cost. Extensive experiments on multiple benchmarks demonstrate the superior reconstruction performance of our DiffTrans compared with other methods, especially in intricate scenes involving transparent objects with diverse topology and complex texture. The code is available at https://github.com/lcp29/DiffTrans.

研究の動機と目的

• 多視点シルエットから diverse topology を持つ透明物体のジオメトリを再構成する。
• 環境照明とシーン輻射を同時に回収する。
• 幾何、屈折率（IoR）、吸収率をエンドツーエンドの微分可能フレームワークで共同最適化する。
• 複雑な質感を持つ透明物体のシーン編集とリライトを可能にする。

提案手法

• 多視点マスクから初期ジオメトリを得るために、膨張と滑らかさ正則化を用いた iso-surface 表現として FlexiCubes を用いる。
• マスク外領域から環境光輻射場を初期化する。
• ジオメトリ、IoR、吸収率を共同最適化するため、CUDA/OptiX で実装された再帰的微分可能メッシュレイトレーサを開発する。
• 吸収媒質中の光伝播を、微分可能な3D 吸収テクスチャと簡略化された放射伝達方程式でモデル化する。
• シーン正則化損失を用いた微分可能なメッシュレイ tracing を適用し、ジオメトリと材料特性を精練する。

実験結果

リサーチクエスチョン

• RQ1 複雑なトポロジを持つ透明物体のジオメトリと材料（IoRと吸収）を、複数視点画像から共同再構成できるか。
• RQ2 レイ tracing の微分可能な再帰が、表面や不透明ターゲットに焦点を当てた従来法と比較して、ジオメトリと材料推定をどのように改善するか。
• RQ3 初期ジオメトリと環境初期化が収束と最終再構成品質に与える影響は何か。
• RQ4 吸収と屈折を共同モデリングすることが、リライト品質と新規ビュー合成にどのように影響するか。
• RQ5 微分可能レンダリングにおける初期化ベースの安定性とエンドツーエンド最適化のトレードオフは何か。

主な発見

Method	CD(×10^-4) ↓	F1(×10^-1) ↑
NeRO	36.022	5.691
NU-NeRF	7.891	8.026
NeRRF	13.341	6.916
Ours(S1)	4.666	8.088
Ours	3.264	8.386

• DiffTrans は、合成シーンにおける平均ジオメトリ再構成の精度（CD が低い）と F1 スコアの向上を、NeRO、NU-NeRF、NeRRF と比較して達成した。
• 6つの合成シーンにおける学習済み IoR 値は、 ground truth に近く、わずかな差異のみを持つ。
• 再帰的微分可能メッシュレイトレーサによる共同最適化は、初期段階を超えてジオメトリの洗練を改善する。
• DiffTrans は妥当なリライト結果を実現し、PSNR、SSIM、LPIPS 指標でベースライン手法を上回る。
• トーン正則化は、シーン全体の新規視点合成とリライト性能を向上させる。