[論文レビュー] Generative Novel View Synthesis with 3D-Aware Diffusion Models

Eric R. Chan, Koki Nagano+8 more|arXiv (Cornell University)|Apr 5, 2023

Advanced Vision and Imaging被引用数 8

ひとこと要約

拡散ベースの3D意識的少数ショット新規ビュー合成法。単一画像から潜在的な3D特徴場を活用し、視点整合性があり多様なレンダリングと自回帰的な3D整合シーケンスを実現。

ABSTRACT

We present a diffusion-based model for 3D-aware generative novel view synthesis from as few as a single input image. Our model samples from the distribution of possible renderings consistent with the input and, even in the presence of ambiguity, is capable of rendering diverse and plausible novel views. To achieve this, our method makes use of existing 2D diffusion backbones but, crucially, incorporates geometry priors in the form of a 3D feature volume. This latent feature field captures the distribution over possible scene representations and improves our method's ability to generate view-consistent novel renderings. In addition to generating novel views, our method has the ability to autoregressively synthesize 3D-consistent sequences. We demonstrate state-of-the-art results on synthetic renderings and room-scale scenes; we also show compelling results for challenging, real-world objects.

研究の動機と目的

• 単一画像の新規ビュー合成における強力な3D整合性への対応。
• 観測入力を超えた多様で妥当なビューの生成を可能にする。
• 3D特徴体積を2D拡散バックボーンと統合し、シーン分布を捉える。
• マルチビュー条件付けと自回帰的シーケンス生成をサポート。
• 合成データと実世界データセットで最先端の結果を示す。

提案手法

• 入力画像から導出した3Dニューラル特徴場を2D拡散モデルに条件付け。
• 入力ビュー特徴を源フラメンジの体積Wへアンプロジェクションし、MLPでデコードして各ボクセル特徴を得る。
• 3D特徴場から体積レンダリングを用いてターゲットビュー特徴画像Fをレンダリング。
• Fをノイズ付きターゲット画像と結合し、条件付き拡散デノイザーU（DDPM++）でノイズ除去。
• denoised出力とターゲットのL2損失を最小化するようエンドツーエンドで訓練（条件付けビュー数は1–3）。
• 前に生成したビューを条件付けとしてシーケンス全体の3D整合性を強制することでフレームを自回帰生成。

実験結果

リサーチクエスチョン

• RQ1 3D特徴場で条件付けられた拡散ベースのNVSモデルは、単一画像から多様で幾何的に整合した新規ビューを生成できるか？
• RQ2 3D事前知識の取り込みは長距離外挿および物体・シーンスケールデータにおけるビュー整合性を改善するか？
• RQ3 マルチビュー条件付けは自回帰生成におけるループ閉鎖とシーケンスの一貫性にどのように影響するか？
• RQ4 ワンステップ推論（回帰風）と完全な自回帰サンプリングの品質と3D整合性のトレードオフはどうなるか？

主な発見

Method	FID ↓	LPIPS ↓	DISTS ↓	PSNR ↑	SSIM ↑
PixelNeRF	65.83	0.146	0.203	23.2	0.90
ViewFormer	20.82	0.146	0.161	19.0	0.83
EG3D-PTI	27.23	0.150	0.310	19.0	0.85
3DiM (autoregressive) †	8.99	-	-	21.01	0.57
Ours (Explicit)	8.09	0.129	0.158	19.1	0.86
Geom.-Free	16.68	0.342	0.329	13.1	0.74
One-Step	42.07	0.150	0.178	23.2	0.91
Full (autoregressive)	11.08	0.120	0.146	20.6	0.89
Full	6.47	0.104	0.145	20.7	0.89

• 本法は単一入力からシャープで多様な新規ビューを達成し、ShapeNetとCO3Dにおける perceptual 指標（LPIPS、DISTS）とFIDで回帰ベースラインを上回る。
• 自回帰条件付けにより幾何学的に整合したマルチビューシーケンスを実現し、COLMAP再構成と ground truth への Chamfer 距離整合性が高い。
• 3D意識的アプローチは潜在特徴場を用いた地形のない拡散ベース手法と比較してビュー整合性とリアリズムが優れており、MP3Dで競合力のあるまたは上回るスコア。
• ワンステップ推論はPSNR/SSIMで競争力を示すが、長距離3D整合性では劣るため、曖昧性解消のための拡散サンプリングの価値を示す。
• モデル（90Mパラメータ）は、既存の3D GANsや拡散モデルと比べて性能と効率のバランスを取っている。