[論文レビュー] DreamSparse: Escaping from Plato's Cave with 2D Frozen Diffusion Model Given Sparse Views

Paul D. Yoo, Jiaxian Guo+2 more|arXiv (Cornell University)|Jun 6, 2023

Generative Adversarial Networks and Image Synthesis被引用数 5

ひとこと要約

DreamSparseは、カメラポーズが既知の2枚のスパarsなビューから、高品質で幾何学的・アイデンティティの一貫性を持つ新規ビュー合成を可能にする。固定された2D拡散モデルを用い、幾何学的PRIORを幾何モジュールと空間ガイダンスを介して注入することで、ノイズ摂動によりアイデンティティの維持が向上する。微調整なしで、トレーニング設定およびオープンセット設定の両方でベースラインを上回る性能を発揮する。

ABSTRACT

Synthesizing novel view images from a few views is a challenging but practical problem. Existing methods often struggle with producing high-quality results or necessitate per-object optimization in such few-view settings due to the insufficient information provided. In this work, we explore leveraging the strong 2D priors in pre-trained diffusion models for synthesizing novel view images. 2D diffusion models, nevertheless, lack 3D awareness, leading to distorted image synthesis and compromising the identity. To address these problems, we propose DreamSparse, a framework that enables the frozen pre-trained diffusion model to generate geometry and identity-consistent novel view image. Specifically, DreamSparse incorporates a geometry module designed to capture 3D features from sparse views as a 3D prior. Subsequently, a spatial guidance model is introduced to convert these 3D feature maps into spatial information for the generative process. This information is then used to guide the pre-trained diffusion model, enabling it to generate geometrically consistent images without tuning it. Leveraging the strong image priors in the pre-trained diffusion models, DreamSparse is capable of synthesizing high-quality novel views for both object and scene-level images and generalising to open-set images. Experimental results demonstrate that our framework can effectively synthesize novel view images from sparse views and outperforms baselines in both trained and open-set category images. More results can be found on our project page: https://sites.google.com/view/dreamsparse-webpage.

研究の動機と目的

• 2つのスパarsなビューと既知のカメラポーズからの高品質な新規ビュー画像の合成に課題に取り組むこと。
• 事前学習済み2D拡散モデルに3Dの認識が欠如していることによる幾何的歪みとアイデンティティの不一致を克服すること。
• 個別オブジェクトの微調整なしにオープンセットのカテゴリに一般化できるように、強力な2D画像PRIORを活用すること。
• パラメータの更新なしに、固定された拡散モデルに3D幾何学的および空間的情報を注入すること。
• 幾何モジュールからの色推定値を用いたノイズ摂動戦略により、合成ビューにおけるアイデンティティの一貫性を向上させること。

提案手法

• 幾何モジュールは、マルチビュー特徴を統合して新規ビューの3D特徴を推定し、3D PRIORとして機能する。
• 空間ガイダンスモデルは、3D特徴マップを空間的制御信号に変換し、潜在空間における拡散プロセスを誘導する。
• 空間ガイダンスは、固定された拡散モデルのUNetデコーダーにおけるクロスアテンション条件付けとして適用され、チューニングなしに幾何学的認識生成を可能にする。
• ノイズ摂動法は、ランダムノイズではなく、幾何モジュールからのぼやけた色推定値にノイズを加えることで、色および照明情報を維持する。
• 事前学習済みの拡散モデルは、テキストプロンプトを用いたテキストから画像への生成設定で使用され、全期間にわたり重みを固定する。
• フレームワークは、固定された拡散モデルを通じて大規模なテキストから画像データセットからの強力な画像PRIORを活用し、未学習のカテゴリに一般化する。

Figure 2: The illustration of the method. The first stage involves utilizing a 3D geometry module to estimate 3D structure and aggregate features from context views.In the next stage, a pre-trained 2D diffusion model conditioned on the aggregate features is leveraged to learn a spatial guidance mode

実験結果

リサーチクエスチョン

• RQ1 固定された2D拡散モデルは、2枚のスパarsなビューからのみ、幾何学的一致性を持つ新規ビュー画像を生成できるか？
• RQ2 微調整なしに、事前学習済み2D拡散モデルに効果的に3D幾何学的PRIORを注入できるか？
• RQ3 3D特徴から導出される空間ガイダンスは、新規ビュー合成における幾何学的一致性を向上させられるか？
• RQ4 2D拡散モデルを用いる場合に、アイデンティティおよびテクスチャの一貫性をどのように維持できるか？
• RQ5 幾何モジュールからの色推定値を用いたノイズ摂動は、ランダムノイズよりも合成品質を向上させるか？

主な発見

• DreamSparseは、トレーニングセットおよびオープンセットのオブジェクトレベル新規ビュー合成において、既存のベースラインを上回り、強力な一般化性能を示している。
• 空間ガイダンスモデルにより、固定された拡散モデルが真値に一致する幾何学的特徴を持つ画像を生成できており、空間特徴のPCA可視化で裏付けられている。
• 空間ガイダンスの重みλ=2が、幾何学的一致性と画像のシャープネスの間で最良のトレードオフを達成しており、λ=0では幾何学的一致性の完全な失敗が確認された。
• 幾何モジュールからの色推定値を用いたノイズ摂動は、ランダムノイズよりも顕著に優れた結果をもたらし、色および照明の歪みを低減した。
• 本手法はシーンレベルの新規ビュー合成およびテキスト制御されたスタイル転送にも一般化可能であり、オブジェクト中心のタスクを超えた広範な応用性を示している。
• 複雑または標準でない幾何形状の処理に限界は存在するが、個別オブジェクト最適化なしに、スパarsビュー新規ビュー合成分野で最先端の性能を達成している。

Figure 3: Novel view synthesizing results on open-set category objects with the same context image inputs, where SF denotes SparseFusion [ 77 ] and GT denotes Ground-Truth image. More results are given at our project webpage and appendix.