[論文レビュー] ConsistNet: Enforcing 3D Consistency for Multi-view Images Diffusion

Jiayu Yang, Ziang Cheng+3 more|arXiv (Cornell University)|Oct 16, 2023

Generative Adversarial Networks and Image Synthesis被引用数 7

ひとこと要約

ConsistNetは、軽量な一貫性ブロックを用いてマルチビュー幾何学を活用することで、潜在拡散モデル向けのプラグインモジュールであり、マルチビュー画像生成における3次元的一致性を強制する。ゼロ123のような固定モデルを拡張し、1枚のA100 GPUで40秒で16枚の一貫性のあるビューを生成する。深度の教師信号や明示的な対応点を必要とせず、3次元的一致性が著しく向上する。

ABSTRACT

Given a single image of a 3D object, this paper proposes a novel method (named ConsistNet) that is able to generate multiple images of the same object, as if seen they are captured from different viewpoints, while the 3D (multi-view) consistencies among those multiple generated images are effectively exploited. Central to our method is a multi-view consistency block which enables information exchange across multiple single-view diffusion processes based on the underlying multi-view geometry principles. ConsistNet is an extension to the standard latent diffusion model, and consists of two sub-modules: (a) a view aggregation module that unprojects multi-view features into global 3D volumes and infer consistency, and (b) a ray aggregation module that samples and aggregate 3D consistent features back to each view to enforce consistency. Our approach departs from previous methods in multi-view image generation, in that it can be easily dropped-in pre-trained LDMs without requiring explicit pixel correspondences or depth prediction. Experiments show that our method effectively learns 3D consistency over a frozen Zero123 backbone and can generate 16 surrounding views of the object within 40 seconds on a single A100 GPU. Our code will be made available on https://github.com/JiayuYANG/ConsistNet

研究の動機と目的

• 1枚の参照画像からの拡散モデルを用いたマルチビュー画像生成における3次元的一致性の欠如に対処すること。
• 明示的な深度予測やピクセル対応アノテーションを必要とせずにマルチビュー生成を可能にすること。
• ゼロ123のような事前学習済み潜在拡散モデルの3次元的一致性を、軽量で微調整可能なプラグインモジュールによって向上させること。
• 複数の視点における幾何学的一致性を強制しながら、高い生成品質と効率を維持すること。
• VR/ARや3次元アセット作成に適した高速で高精度な3次元認識画像生成を実現すること。

提案手法

• マルチビュー幾何学的原則に基づいた視点間の特徴交換を可能にするマルチビュー一貫性ブロックを導入する。
• 視点集約モジュールを用いて、マルチビュー特徴をグローバル3次元ボリュームにアンプロジェクトし、3次元的一致性を推定する。
• レイトレース集約モジュールを用いて、各視点に再び3次元的一致性のある特徴をサンプリング・集約することで、一貫性の強制を実現する。
• 事前学習済みノイズ除去U-Netの各デコーダ層にConsistNetブロックを統合し、このブロックのみを微調整する。
• 固定ベースモデル（例：ゼロ123）を活用し、視点条件付き生成にCLIPおよびカメラ埋め込みを用いる。
• デコーダ層に追加される残差特徴マップにより、視点間の幾何学的一致性を保証する。

実験結果

リサーチクエスチョン

• RQ1 ベースの拡散モデルを変更せずに、プラグインモジュールがマルチビュー画像生成における3次元的一致性を効果的に強制できるか。
• RQ2 軽量で幾何学に配慮したブロックが、ゼロ123のような固定拡散モデルにおける一貫性をどの程度向上できるか。
• RQ3 明示的な教師信号なしに、未学習のオブジェクトや複雑な形状に対しても一般化可能か。
• RQ4 マルチビュー拡散生成における一貫性、速度、品質のトレードオフはいかなるものか。
• RQ5 深度の教師信号やピクセルレベルの対応点を必要とせずに、高い一貫性を達成できるか。

主な発見

• ConsistNetは、すべての仰角（0°, 15°, 30°）において、ベースのゼロ123モデルよりも顕著に3次元的一致性が向上し、LPIPS、SSIM、PSNRの指標でも一貫した向上が見られた。
• Google Scanned Objectsデータセットでは、0°および15°の仰角において、ゼロ123およびSyncdreamerを上回る3次元的一致性を達成し、30°では同等の性能を示した。
• 1枚のA100 GPUで40秒という短時間で、16枚の高品質かつ一貫性のあるマルチビュー画像を生成でき、高い効率性を示した。
• 定性的な結果から、複雑な形状やテクスチャを持つオブジェクトにおいても、幾何学的忠実性と色の一致性が向上していることが確認された。
• 未学習データに対しても良好な一般化性能を示し、1枚の画像からの3次元再構築の本質的な曖昧性にもかかわらず、多様かつ一貫性のあるマルチビュー出力を生成した。
• プラグインアーキテクチャにより、既存の拡散モデルへのシームレスな統合が可能であり、ベースモデルの機能を維持しながら3次元的一致性を追加した。