[論文レビュー] IPDreamer: Appearance-Controllable 3D Object Generation with Complex Image Prompts

Bohan Zeng, Shanglin Li+10 more|arXiv (Cornell University)|Oct 9, 2023

3D Shape Modeling and Analysis被引用数 4

ひとこと要約

IPDreamerは、画像プロンプトを最適化プロセスに統合する画像プロンプトスコア分散（IPSD）を用いて、外観制御可能な3Dオブジェクト合成を可能にする、テキストから3Dを生成するための新規フレームワークを提示する。画像プロンプト埋め込みとノーマルマップを活用することで、SOTA手法を上回る制御性と現実性を実現する高精細なスタイル転送可能な3D生成を達成し、テキストプロンプトと画像プロンプトが矛盾する状況でも有効である。

ABSTRACT

Recent advances in 3D generation have been remarkable, with methods such as DreamFusion leveraging large-scale text-to-image diffusion-based models to guide 3D object generation. These methods enable the synthesis of detailed and photorealistic textured objects. However, the appearance of 3D objects produced by such text-to-3D models is often unpredictable, and it is hard for single-image-to-3D methods to deal with images lacking a clear subject, complicating the generation of appearance-controllable 3D objects from complex images. To address these challenges, we present IPDreamer, a novel method that captures intricate appearance features from complex $ extbf{I}$mage $ extbf{P}$rompts and aligns the synthesized 3D object with these extracted features, enabling high-fidelity, appearance-controllable 3D object generation. Our experiments demonstrate that IPDreamer consistently generates high-quality 3D objects that align with both the textual and complex image prompts, highlighting its promising capability in appearance-controlled, complex 3D object generation. Our code is available at https://github.com/zengbohan0217/IPDreamer.

研究の動機と目的

• 既存のテキストから3Dを生成する手法における外観制御性の欠如に起因する、確率的LoRA微調整に起因するランダムで制御不能なテクスチャの生成を是正すること。
• SDS や VSD などの既存のスコア分散手法を改善し、テキスト記述に依存するのではなく、画像プロンプトによるより豊かな外観ガイダンスを統合すること。
• 参照画像の構造がターゲット3Dジオメトリと著しく異なる場合でも、その画像から3Dオブジェクトへのスタイル転送を可能にすること。
• 3Dメッシュジオメトリとテクスチャの両方を同時に最適化する統合フレームワークを構築し、画像プロンプト埋め込みとノーマルマップを用いて視覚的忠実度を向上させること。

提案手法

• IPDreamerは、NeRFに基づく3D表現の強力な3D事前知識を提供するため、マルチビュー生成にZero-1-to-3を採用する。
• 画像プロンプト埋め込みを、生成された参照画像およびそれに対応するノーマルマップから、IP-Adapterを用いて抽出する。
• 画像プロンプトスコア分散（IPSD）を導入し、画像プロンプト埋め込みを用いてテクスチャおよびジオメトリ最適化をガイドする新しい最適化目的を設定する。
• ジオメトリに配慮した正則化項 δ_geo と画像プロンプト特徴に基づく知覚的損失を含む組み合わせ損失を最小化することで、3Dメッシュを最適化する。
• パラメトリックスコアモデルを用いてテキストプロンプトを確率的変数として扱い、標準的なSDSと比較して多様性が向上し、過剰平滑化が軽減される。
• 単一画像から3Dへの生成では、IPSDをZero-123と組み合わせることで、アイデンティティと詳細の保持を実現するとともに、スタイル転送を可能にする。

実験結果

リサーチクエスチョン

• RQ1 テキストプロンプトのみに比べて、画像プロンプトが3Dオブジェクト生成においてより効果的かつ制御性の高い外観ガイダンスを提供できるか？
• RQ2 画像プロンプト埋め込みとノーマルマップを統合することで、生成された3Dオブジェクトの忠実度とスタイル整合性がどのように向上するか？
• RQ3 画像とメッシュの構造が著しく異なる場合でも、IPDreamerが多様な参照画像からの視覚的スタイルを3Dメッシュにどれほど効果的に転送できるか？
• RQ4 提案されたIPSD損失は、SDS や VSD などの既存のスコア分散手法を上回り、高品質で多様性に富み、制御性の高い3Dオブジェクトを生成できるか？
• RQ5 IPDreamerは、単一画像から3Dへの生成において、アイデンティティ保持とスタイル転送を効果的にバランスできるか？

主な発見

• IPDreamerは、参照画像と3Dメッシュの構造的レイアウトが異なる場合でも、画像プロンプトから視覚的スタイルを3Dオブジェクトに効果的に転送する。
• テキストプロンプトと画像プロンプトが矛盾する状況（例：'鉄' と 'レザー' の外観）においても、画像プロンプトが最終的な3D出力に優位に作用し、強力な外観制御性を示している。
• アブレーションスタディにより、ジオメトリ最適化損失 ℒ_IPSD-Geo が、画像プロンプトからの高周波数ディテールを効果的に捉えていることが確認され、洗練されたノーマルマップが得られている。
• δ_geo の導入により、テクスチャ品質とアイデンティティ保持が顕著に向上し、視覚的比較でもこの項を含まない手法に比べて優れた結果が得られている。
• DreamFusion や Magic3D、Fantasia3D、ProlificDreamer などのSOTA手法と比較して、IPDreamerは外観制御性とスタイル整合性において、定性的および定量的評価の両面で優れている。
• このフレームワークは、テキストおよび画像プロンプトからの高品質な3D生成、および単一画像から3Dへの生成を可能にし、ベースライン手法と比較して詳細性と一貫性が向上している。