[論文レビュー] $PC^2$: Projection-Conditioned Point Cloud Diffusion for Single-Image 3D Reconstruction

Luke Melas-Kyriazi, Christian Rupprecht+1 more|arXiv (Cornell University)|Feb 21, 2023

3D Shape Modeling and Analysis被引用数 4

ひとこと要約

本稿では、入力ビューからの画像特徴の投影を条件とする拡散モデルである $\mathbf{PC}^2$ を提案する。この手法は、2次元入力からの制限を受けるが、幾何的整合性を保つことで高解像度のスパarsな点群を生成する。主な革新点は「投影条件付け」であり、入力画像との幾何的整合性を保証し、合成データおよび実世界データの両方で高精細で多様かつ色の正確な再構成を実現する。

ABSTRACT

Reconstructing the 3D shape of an object from a single RGB image is a long-standing and highly challenging problem in computer vision. In this paper, we propose a novel method for single-image 3D reconstruction which generates a sparse point cloud via a conditional denoising diffusion process. Our method takes as input a single RGB image along with its camera pose and gradually denoises a set of 3D points, whose positions are initially sampled randomly from a three-dimensional Gaussian distribution, into the shape of an object. The key to our method is a geometrically-consistent conditioning process which we call projection conditioning: at each step in the diffusion process, we project local image features onto the partially-denoised point cloud from the given camera pose. This projection conditioning process enables us to generate high-resolution sparse geometries that are well-aligned with the input image, and can additionally be used to predict point colors after shape reconstruction. Moreover, due to the probabilistic nature of the diffusion process, our method is naturally capable of generating multiple different shapes consistent with a single input image. In contrast to prior work, our approach not only performs well on synthetic benchmarks, but also gives large qualitative improvements on complex real-world data.

研究の動機と目的

• 単一画像3D再構成という長年の課題に取り組む。これは2次元入力の制限と、妥当な3D形状の事前分布の必要性により、不適切に定義された問題である。
• 従来の手法が低解像度の幾何形状を生成し、細部の再現に難あり、再構成の多様性に欠けるという限界を克服する。
• 拡散モデルの確率的性質を活用し、1枚の入力画像から複数の妥当な3D形状を生成することで、不確実性を考慮した再構成を可能にする。
• 全拡散ステップにおいて、再構成された3D形状と入力画像との幾何的整合性を保証する条件付け機構を開発する。
• 形状再構成後に、同じ投影条件付け機構を用いて点群の色を予測する。

提案手法

• 3D形状を無構造的なスパarsな点群として表現し、3次元ガウス分布からサンプリングされたランダムな3次元点で初期化する。
• 入力RGB画像およびカメラポーズに一致する形状へ段階的に精錬する条件付きノイズ除去拡散プロセスを適用する。
• 投影条件付けを導入：各ノイズ除去ステップにおいて、既知のカメラポーズを用いて、CNNバックボーンから得た画像特徴を、部分的にノイズ除去された点群に投影する。
• 投影された特徴を用いて、点群の位置を修正するノイズ除去ネットワークをガイドし、入力画像との幾何的整合性を保証する。
• 形状再構成後、同じ投影メカニズムを再利用して、最終的な3次元点群に投影された画像特徴を用いて各点の色を予測する。
• 複数回の拡散モデルからのサンプリングにより多様な生成を可能にし、マスクIoUに基づくフィルタリングステップを適用して最良の再構成を選択する。

Figure 2 : $\textbf{PC}^{2}$ reconstructs a colored point cloud from a single input image along with its camera pose. The method contains two sub-parts, both of which utilize our model projection conditioning method. First, we gradually denoise a set of points into the shape of an object. At each st

実験結果

リサーチクエスチョン

• RQ1 3次元点群に投影された画像特徴を条件とする拡散モデルは、単一のRGB画像から高精細で幾何的に整合性のある3D再構成を生成できるか？
• RQ2 3D拡散モデルにおける代替の条件付け機構と比較して、投影条件付けは幾何的整合性および再構成品質をどのように向上させるか？
• RQ3 拡散モデルの確率的性質を活用して、1枚の入力画像から多様で妥当な3D形状を生成できるか。また、その多様性を効果的にフィルタリングすることで性能を向上させられるか？
• RQ4 同じ投影条件付け機構を用いて、形状再構成後に正確な点群の色を予測できる範囲はどの程度か？
• RQ5 本手法は、ShapeNetのような合成ベンチマークをはるかに超えて、複雑な実世界の画像にも一般化できるか？

主な発見

• フィルタリングを適用した $\mathbf{PC}^2$-FM は、ShapeNet-R2N2ベンチマークで最先端の性能を達成し、平均および大多数のカテゴリで従来手法を上回った。特に、ライフルや飛行機のような細部の重要なオブジェクトで顕著な向上を示した。
• 実世界のCo3Dデータセットにおいても、質的・定量的に優れた結果を生成した。詳細で視点一貫性のある3D形状を生成し、新規視点においてぼやけたり曖昧になったりすることなく、明確な形状を再現した。
• マスクIoUに基づくフィルタリングは性能を顕著に向上させた。$\mathbf{PC}^2$-FM は10個のサンプルを用いた場合、ShapeNetで平均Fスコア0.786を達成し、一部のカテゴリではオラクル性能を上回った。
• フィルタリングプロセスに2枚の画像を使用するだけで顕著な性能向上が得られ、より多くのサンプルを追加しても利得は次第に減少した。
• 曇りの多い入力（例：背もたれの欠損した椅子）に対しても、多様で妥当な3D形状を生成し、再構成における不確実性を捉える能力を示した。
• 不完全なマルチビュー再構成に起因する穴のあるノイズの多い真値点群に対しても、本手法は頑健であることが示され、実世界データにおける実用的妥当性を裏付けた。

Figure 3 : Examples of $\textbf{PC}^{2}$ on real-world images from Co3D [ 34 ] , along with intermediate steps in the diffusion process. The first column shows input images, while the subsequent five columns show the evolution of the point cloud from a randomly sampled Gaussian to a final shape over