[論文レビュー] 3D-LDM: Neural Implicit 3D Shape Generation with Latent Diffusion Models

Gimin Nam, Mariem Khlifi+4 more|arXiv (Cornell University)|Dec 1, 2022

3D Shape Modeling and Analysis被引用数 16

ひとこと要約

3D-LDM は、事前学習済みのオートデコーダーの潜在空間で動作する潜在拡散モデルを導入し、符号付き距離関数（SDF）を用いたニューラルインプリシット表現により、高品質な3D形状を生成する。この手法により、連続的で多様な表面が得られ、非条件付き3D形状生成で最先端の性能を達成。CLIPの条件付けによりテキストから3Dや画像から3Dへの生成が可能であり、ノイズ注入による制御された形状探索も可能である。

ABSTRACT

Diffusion models have shown great promise for image generation, beating GANs in terms of generation diversity, with comparable image quality. However, their application to 3D shapes has been limited to point or voxel representations that can in practice not accurately represent a 3D surface. We propose a diffusion model for neural implicit representations of 3D shapes that operates in the latent space of an auto-decoder. This allows us to generate diverse and high quality 3D surfaces. We additionally show that we can condition our model on images or text to enable image-to-3D generation and text-to-3D generation using CLIP embeddings. Furthermore, adding noise to the latent codes of existing shapes allows us to explore shape variations.

研究の動機と目的

• 従来の3D拡散モデルがボクセルやポイントクラウド表現に依存するという限界に対処する。これらの表現は表面の連続性に欠け、グラフィックス用途では非効率である。
• 連続的な表面を表現するニューラルインプリシット関数（SDF）を用いて、高精細で多様な3D形状生成を実現する。
• オートデコーダーの潜在空間で動作する拡散モデルを3D形状生成に拡張することで、訓練の安定性と生成品質を向上させる。
• テキストから3Dおよび画像から3Dの形状合成の両方に対して、CLIP埋め込みを条件付け信号として使用する。
• 既存の形状の潜在コードに制御されたノイズを注入することで、ガイド付きの形状探索を可能にする。

提案手法

• 本手法は2段階の訓練パイプラインを用いる：まず、3D形状を潜在空間に符号化するDeepSDFベースのオートデコーダーを事前学習し、その後、この潜在空間上で潜在拡散モデルを訓練する。
• 潜在拡散モデルは、等方的ガウスノイズから出発し、逆方向の拡散プロセスにおいて潜在ベクトルをノイズ除去することで、新しい形状の潜在表現を生成する。
• テキストまたは画像のCLIP埋め込みを条件付けとして用いることで、再訓練なしにゼロショットでのテキストから3Dおよび画像から3Dへの生成を可能にする。
• ガイド付き形状探索のため、中間の拡散ステップ（t < T）で参照形状の潜在コードにノイズを注入し、構造的に類似したがスタイルが異なる形状を生成する。
• 生成された潜在コードをデコーダーを用いて復元することで、最終的な3D形状を得る。これにより連続的なSDFが得られ、高品質な表面抽出が可能になる。
• 本手法は、SDF空間への直接的な拡散を避けることで、コンactかつ分離された潜在空間を活用し、効率性と一般化性能の向上を図る。

実験結果

リサーチクエスチョン

• RQ1 ニューラルインプリシットオートデコーダーの潜在空間で動作する潜在拡散モデルは、連続的な表面を持つ多様で高精細な3D形状を生成できるか？
• RQ2 CLIP埋め込みを条件付け信号として用いることで、ゼロショットでのテキストから3Dおよび画像から3Dへの生成が可能か？
• RQ3 既存形状の潜在コードに制御されたノイズを注入することで、意味的で局所的な形状変異が得られ、デザイン探索に役立つか？
• RQ4 潜在拡散アプローチは、従来のGANベースおよび直接的な拡散モデルに比べ、ニューラルインプリシット3D形状の生成において優れているか？
• RQ5 過学習を示さず、訓練分布を超えた形状にも一般化可能か？形状の多様性と新規性の観点から検証できるか？

主な発見

• 3D-LDM はShapeNetのチェアデータセットにおいて、非条件付き3D形状生成で最先端の性能を達成し、サンプルの品質と多様性の両面で、従来のGANベースおよび拡散ベースの手法を上回った。
• 本モデルはテキストプロンプトに条件づけられた多様な3D形状を生成でき、例えば「車輪付きのチェア」や「ベッドのようなチェア」といった記述的属性に合致した形状を生成した。
• CLIP条件付けによる画像から3Dへの生成は、入力画像のレンダリングと視覚的に類似した形状を生成し、新しい視点からも一貫性を示した。これは、強いゼロショット整合性を示している。
• 中間の拡散ステップでのノイズ注入によるガイド付き形状探索により、入力形状の粗い構造を保持しながら、局所的な詳細を多様に変化させることができ、デザイン探索に有効であった。
• 生成された形状とトレーニングセット内の類似形状との比較において、過学習の兆候が見られず、未学習の形状に対しても良好な一般化性能を示した。
• 高精細な出力にもかかわらず、1形状の合成時間は既存のベースラインと同等であり、計算効率が維持されている。