[論文レビュー] Coin3D: Controllable and Interactive 3D Assets Generation with Proxy-Guided Conditioning

Wenqi Dong, Bangbang Yang+6 more|arXiv (Cornell University)|May 13, 2024

Computer Graphics and Visualization Techniques被引用数 4

ひとこと要約

Coin3Dは、基本的な幾何的プリミティブから構築された粗い3D形状プロキシを、マルチビュー拡散モデルの条件付きガイドとして用いる、制御可能でインタラクティブな3Dアセット生成フレームワークを導入する。3Dアダプタ、プロキシ制限付き編集、プログレッシブボリュームキャッシュ、ボリューム-SDS損失を統合することで、10秒未塔の応答性を持つ3Dプレビューと細かい局所的編集を可能にし、従来の3D生成手法に比べて著しく制御性とインタラクティビティが向上する。

ABSTRACT

As humans, we aspire to create media content that is both freely willed and readily controlled. Thanks to the prominent development of generative techniques, we now can easily utilize 2D diffusion methods to synthesize images controlled by raw sketch or designated human poses, and even progressively edit/regenerate local regions with masked inpainting. However, similar workflows in 3D modeling tasks are still unavailable due to the lack of controllability and efficiency in 3D generation. In this paper, we present a novel controllable and interactive 3D assets modeling framework, named Coin3D. Coin3D allows users to control the 3D generation using a coarse geometry proxy assembled from basic shapes, and introduces an interactive generation workflow to support seamless local part editing while delivering responsive 3D object previewing within a few seconds. To this end, we develop several techniques, including the 3D adapter that applies volumetric coarse shape control to the diffusion model, proxy-bounded editing strategy for precise part editing, progressive volume cache to support responsive preview, and volume-SDS to ensure consistent mesh reconstruction. Extensive experiments of interactive generation and editing on diverse shape proxies demonstrate that our method achieves superior controllability and flexibility in the 3D assets generation task.

研究の動機と目的

• 現在の3D生成モデリングワークフローにおける制御性と応答性の欠如を解消すること。
• テキストや画像ではなく、直感的な粗い形状プロキシを用いて、ユーザーが3Dアセットを生成・編集できるようにすること。
• 最小限の遅延でリアルタイムかつインタラクティブな3Dプレビューと局所部品編集をサポートすること。
• ユーザー定義の幾何構造を保持しながら、高精度なメッシュ再構築を保証すること。

提案手法

• 3Dアダプタを導入し、ボリュームメッシュへの粗い形状制御を3D拡散モデルに直接適用することで、3Dに特化した条件付き入力を可能にする。
• マスク拡張戦略を用いたプロキシ制限付き編集を実装し、変更されていない領域を保持しながら自然で滑らかな局所的編集を実現する。
• プログレッシブボリュームキャッシュにより、編集間で中間特徴ボリュームを再利用することでプレビュー描画を高速化し、10秒未塔の応答時間を達成する。
• ボリューム-SDS（スコア抽出抽出）損失により、3D幾何形状をプロキシ形状とマルチビューの監視情報に一致させることで、一貫性のあるメッシュ再構築を強制する。
• マルチビュー拡散事前分布と3Dプロキシガイドを統合することで、ユーザーがプロンプトと形状を繰り返し精錬できるようにする。
• 即時特徴ボリューム構築パイプラインを新規に開発し、任意の視点から迅速な生成とプレビューを可能にする。

Figure 1. Coin3D allows users to add 3D-aware control to the object generation using coarse proxies assembled from basic shapes, enabling an interactive generation workflow with fine-grained part editing and responsive 3D previewing.

実験結果

リサーチクエスチョン

• RQ1 基本的な幾何的プリミティブから構成される粗い3D形状プロキシは、拡散ベースのフレームワークにおいて高精度な3D生成を効果的にガイドできるか？
• RQ2 最小限の遅延と高い幾何・外観の一貫性を実現する3Dに特化した局所的編集は、どのように達成できるか？
• RQ3 インタラクティブモデリング中に数秒以内に応答性のある3Dプレビューを実現するための技術は何か？
• RQ4 画像やテキストのみの条件付き入力と比較して、プロキシガイド付き条件付き入力は再構築精度をどのように向上させるか？
• RQ5 ボリューム-SDSとプロキシ制限付き編集は、生成された3Dアセットの品質と整合性をどの程度向上させるか？

主な発見

• Coin3Dは1回の編集あたり5〜10秒のインタラクティブな3Dプレビューを実現し、再構築に数十分もかかる従来手法に比べて顕著に高速化されている。
• ボリューム-SDS損失によりメッシュ再構築品質が向上し、『フローター』と呼ばれるアーチファクトが減少し、安定した椅子の底などより現実的で整合性のある幾何形状が得られる。
• マスク拡張を用いたプロキシ制限付き編集は、滑らかで自然な編集を実現するが、いずれの要素も欠落すると、断たれた四肢や融合した形状といった構造的アーチファクトが生じる。
• 局所的編集においても変更されていない部分を保持しており、複数回の編集ステップにわたり強力なコンテンツ保存性を示している。
• ユーザースタディおよび定性的な結果から、このフレームワークは、画像インpaintingに類似した直感的で反復的なデザインワークフローを3D空間で実現できていることが示された。
• 生成の忠実度とインタラクティビティの両面で、Latent-NeRF や Fantasia3D といったベースライン手法を上回っており、特に応答性の高いプレビューと形状制御において顕著な優位性を示している。

Figure 2. Overview. Given a coarse shape proxy and user prompts that describe the identity, our method first constructs 2D image candidates from the proxy’s silhouette and 3D proxy samples as input conditions. Then, we employ a 3D adapter to integrate 3D-aware control to the diffusion’s denoising pr