[論文レビュー] SDFusion: Multimodal 3D Shape Completion, Reconstruction, and Generation

Yen-Chi Cheng, Hsin-Ying Lee+3 more|arXiv (Cornell University)|Dec 8, 2022

Image Processing and 3D Reconstruction被引用数 5

ひとこと要約

SDFusion は、符号付き距離関数（SDF）と学習された潜在空間を用いた、高解像度でマルチモーダルな 3D 形状生成を可能にする拡散ベースの 3D 生成モデルである。画像、テキスト、部分形状、あるいはそれらの組み合わせからの条件付き生成をサポートし、モダリティの重みを調整可能にし、形状補完、画像から 3D 再構築、テキストから 3D 生成の分野で最先端の性能を達成するとともに、2D 拡散モデルを用いたテクスチャ生成も可能である。

ABSTRACT

In this work, we present a novel framework built to simplify 3D asset generation for amateur users. To enable interactive generation, our method supports a variety of input modalities that can be easily provided by a human, including images, text, partially observed shapes and combinations of these, further allowing to adjust the strength of each input. At the core of our approach is an encoder-decoder, compressing 3D shapes into a compact latent representation, upon which a diffusion model is learned. To enable a variety of multi-modal inputs, we employ task-specific encoders with dropout followed by a cross-attention mechanism. Due to its flexibility, our model naturally supports a variety of tasks, outperforming prior works on shape completion, image-based 3D reconstruction, and text-to-3D. Most interestingly, our model can combine all these tasks into one swiss-army-knife tool, enabling the user to perform shape generation using incomplete shapes, images, and textual descriptions at the same time, providing the relative weights for each input and facilitating interactivity. Despite our approach being shape-only, we further show an efficient method to texture the generated shape using large-scale text-to-image models.

研究の動機と目的

• テキスト、画像、部分形状といった直感的でマルチモーダルな入力を用いて、一般ユーザーが複雑な 3D モデルを生成できるように、3D モデル作成の民主化を図ること。
• 3D 生成の計算負荷を軽減するため、3D 形状を低次元の潜在空間に圧縮して、効率的な拡散モデリングを可能にすること。
• 複数の条件付けモダリティの相対的な重要性をユーザーが調整できる柔軟なインタラクティブ制御を可能にすること。
• 2D と 3D 生成モデリングを統合するために、事前学習済みの 2D テキストから画像への拡散モデルを用いて、生成された 3D 形状に高精細なテクスチャを適用すること。
• 単一で柔軟なアーキテクチャで、形状補完、再構築、生成を統合的にサポートするフレームワークを提示すること。

提案手法

• SDFusion は、3D 形状を SDF のコンactな潜在表現に圧縮するための変分オートエンコーダを用い、128³ 解像度で高解像度の生成を実現する。
• 3D 形状の確率分布をモデル化するため、潜在空間で拡散モデルを学習し、高品質で多様な生成を可能にする。
• タスク固有のエンコーダーが各モダリティ（テキスト、画像、部分形状）を処理した後、クロスアテンション機構を用いて、複数の入力を同時に条件付けた拡散プロセスを実現する。
• 分類器フリーのガイドランスを適用することで、推論時に各条件付けモダリティの相対的重みを調整可能にし、柔軟かつ学習可能な制御を実現する。
• モデルは、モダリティ固有の埋め込みに注目するクロスアテンション機構を採用しており、拡散プロセスが各入力タイプからの関連情報を適切に抽出できるようにする。
• テクスチャ生成のため、SDFusion は事前学習済みの 2D テキストから画像への拡散モデルを活用し、ニューラルレンダリングとスコア蒸留サンプリングを組み合わせることで、意味的に適切で多様なテクスチャを生成された 3D 形状に適用する。

Figure 2 : SDFusion Overview. (left) To enable high-resolution generation, we first encode 3D shapes into a latent space, where a diffusion model is trained. Furthermore, to enable flexible conditional generation, we adopt class-specific encoders along with classifier-free guidance to enable multi-m

実験結果

リサーチクエスチョン

• RQ1 統一されたフレームワークを用いて、複数の 3D 形状生成タスク（補完、再構築、テキストから 3D 生成）を1つの生成モデルが効果的に処理できるか？
• RQ2 テキスト、画像、部分形状といったマルチモーダルな条件付けを、調整可能なモダリティ重みを用いて柔軟に統合できるか？
• RQ3 SDF の潜在空間における拡散モデルが、計算効率と高いサンプル品質を維持しつつ、高解像度の 3D 生成を達成できるか？
• RQ4 2D テキストから画像への拡散モデルを、3D 拡散モデルで生成された 3D 形状のテクスチャに効果的に適応できるか？
• RQ5 定量的指標と定性的な多様性・忠実度の観点から、先行研究の最先端手法と比較して、モデルの性能はどの程度優れているか？

主な発見

• SDFusion は、ShapeGlot ベンチマークにおいて AutoSDF よりも 12.3% 低い誤認識率を達成し、生成された形状とテキスト記述との間の整合性が優れていることを示している。
• 定性的な結果から、SDFusion は 'L字のテーブル' や '二重の表面を持つテーブル' といった複雑な記述に対し、先行研究よりもより多様で忠実な形状を生成していることがわかる。
• 部分入力や画像からの入力を用いた 3D 形状の補完において、曖昧な視覚的手がかりに対しても、多様で妥当な補完を効果的に生成している。
• 複数のモダリティを調整可能な重みで統合した条件付けにより、ユーザーによる細かな制御が可能であることが図8で示されており、画像またはテキストの重みを増やすことで出力がそれぞれの入力に近づくことが確認された。
• 2D テキストから画像への拡散モデルの統合により、意味的に適切で多様で、スタイル豊かなテクスチャ（例：「中国風」や「マシュマロ風」）を生成された 3D 形状に適用できるようになった。
• SDFusion は、ShapeNet、BuildingNet、Pix3D データセットにおいて、形状補完、画像ベースの 3D 再構築、テキストから 3D 生成の各タスクで、定量的および定性的に先行手法を上回っている。

Figure 3 : 3D Shape Texturing . We demonstrate an application where models trained on 2D and 3D data are combined. The shapes generated by SDFusion are converted to a density tensor, then the color information is learned via neural rendering. The gradients are provided by an off-the-shelf 2D diffusi