[論文レビュー] Interp3D: Correspondence-aware Interpolation for Generative Textured 3D Morphing

Xiaolu Liu, Yicong Li+5 more|arXiv (Cornell University)|Jan 20, 2026

3D Shape Modeling and Analysis被引用数 0

ひとこと要約

Interp3Dは、ソースとターゲットを意味論的・構造的・テクスチャの側面で順次整合させることにより、トレーニング不要で滑らかで意味論的に一貫したテクスチャ付き3D形状変形を実現するフレームワーク（TRELLISという3D拡散事前学習と対応認識メカニズムを使用）

ABSTRACT

Textured 3D morphing seeks to generate smooth and plausible transitions between two 3D assets, preserving both structural coherence and fine-grained appearance. This ability is crucial not only for advancing 3D generation research but also for practical applications in animation, editing, and digital content creation. Existing approaches either operate directly on geometry, limiting them to shape-only morphing while neglecting textures, or extend 2D interpolation strategies into 3D, which often causes semantic ambiguity, structural misalignment, and texture blurring. These challenges underscore the necessity to jointly preserve geometric consistency, texture alignment, and robustness throughout the transition process. To address this, we propose Interp3D, a novel training-free framework for textured 3D morphing. It harnesses generative priors and adopts a progressive alignment principle to ensure both geometric fidelity and texture coherence. Starting from semantically aligned interpolation in condition space, Interp3D enforces structural consistency via SLAT (Structured Latent)-guided structure interpolation, and finally transfers appearance details through fine-grained texture fusion. For comprehensive evaluations, we construct a dedicated dataset, Interp3DData, with graded difficulty levels and assess generation results from fidelity, transition smoothness, and plausibility. Both quantitative metrics and human studies demonstrate the significant advantages of our proposed approach over previous methods. Source code is available at https://github.com/xiaolul2/Interp3D.

研究の動機と目的

• ジオメトリの扱いが分離される、または2D補間戦略に依存する従来のテクスチャ付き3D形状変形手法の限界を強調する。
• 変形中の幾何学的忠実度とテクスチャ一貫性を共同で保持する三段階の逐次整合フレームワークを提案する。
• トレーニング不要で対応認識的な補間を可能にする3D拡散事前学習（TRELLIS）を活用する。
• 難易度レベルを跨ぐ専用ベンチマークデータセット（Interp3DData）を作成・評価し、忠実度・遷移の滑らかさ・妥当性を評価する。

提案手法

• Semantic-Aligned Condition Interpolation: ソースとターゲット間の意味的対応をDINOv2埋め込みで計算し、パッチを整列させる割り当てを解き、対応条件トークンをそれに応じて補間する。
• SLAT-Guided Structure Interpolation: 3D拡散事前学習のStructured Latent (SLAT)特徴を用い、ソースとターゲットのSLAT間で動的なパッチレベル対応を確立する。拡散ベースの生成中に構造を整列させるため、3DトランスフォーマーのKVマップを置換する。
• Fing-Grained Texture Fusion: 中間トークンに対して最も類似するソース/ターゲットトークンを見つけ、それらを正規化された加重和で更新して中間のアイデンティティとテクスチャの詳細を保持する。
• 全てのステップはTRELLIS 3D拡散事前学習の上でトレーニング不要に統合され、意味論・構造・テクスチャチャンネルにまたがる逐次整合を可能にする。

実験結果

リサーチクエスチョン

• RQ1 セマンティック整合条件補間は3D形状変形時の意味的ミスマッチを減らすか？
• RQ2 SLATガイデッド構造補間は幾何忠実度を向上させ、難易度が異なる場合のアーチファクトを減らすか？
• RQ3 細粒度のテクスチャ融合は外観の一貫性を維持し、変形時のテクスチャぼかしを防ぐか？
• RQ4 提案手法のInterp3Dは忠実度・滑らかさ・妥当性の点で3D形状変形のベースラインと比較してどうか？
• RQ5 各逐次整合コンポーネントが全体性能に与える影響はどの程度か？

主な発見

Method	Easy FID	Easy PPL	Easy LPIPS	Mid FID	Mid PPL	Mid LPIPS	Hard FID	Hard PPL	Hard LPIPS	Average FID	Average PPL	Average LPIPS
MorphFlow	101.36	2.79	0.111	107.57	2.96	0.156	105.71	2.92	0.187	104.88	2.89	0.151
DiffMorpher	160.93	4.18	0.088	177.45	4.16	0.113	170.26	4.92	0.183	169.54	4.42	0.128
FreeMorph	114.01	5.36	0.120	124.02	6.16	0.160	135.69	5.31	0.217	124.57	5.61	0.166
AID-O	84.35	2.92	0.072	84.64	3.10	0.104	94.64	3.57	0.159	87.88	3.20	0.112
AID-O (Ours)	77.65	2.75	0.068	83.62	2.78	0.092	81.81	3.24	0.145	81.03	2.92	0.102
Interp3D (Ours)	70.79	2.42	0.059	83.58	2.37	0.079	82.54	2.62	0.119	78.97	2.47	0.086

• Interp3Dは、Interp3DDataの易しい・中・難しいケースでベースラインより忠実度と滑らかな遷移を達成（FID, PPL, LPIPS）。
• セマンティック整合条件補間は意味的ミスマッチを減らし、初期段階の一貫性を改善。
• SLATガイデッド構造補間は拡散生成中のソースとターゲットの構造を整列させることで幾何的一貫性を高める。
• 細粒度のテクスチャ融合は中間外観を保持し、単純な線形ブレンドと比べてテクスチャブラーを減らす。
• ユーザー調査でInterp3Dはベースラインより忠実度・滑らかさ・妥当性の総合スコアが高く好まれる。
• アブレーションでは逐次的コンポーネントが累積的に性能を向上させ、難しいケースでのテクスチャ融合が顕著な利得をもたらす。