[論文レビュー] A Conditional Point Diffusion-Refinement Paradigm for 3D Point Cloud Completion

Zhaoyang Lyu, Zhifeng Kong+3 more|arXiv (Cornell University)|Dec 7, 2021

3D Shape Modeling and Analysis被引用数 41

ひとこと要約

two-stageのPDRフレームワークを導入し、条件付きDDPM（CGNet）で粗く均一な完全点群を生成し、RFNetでそれを洗練させる。生成を最大50倍高速化しつつ品質の低下は最小限に抑制する、最新の点群補完を実現。

ABSTRACT

3D point cloud is an important 3D representation for capturing real world 3D\nobjects. However, real-scanned 3D point clouds are often incomplete, and it is\nimportant to recover complete point clouds for downstream applications. Most\nexisting point cloud completion methods use Chamfer Distance (CD) loss for\ntraining. The CD loss estimates correspondences between two point clouds by\nsearching nearest neighbors, which does not capture the overall point density\ndistribution on the generated shape, and therefore likely leads to non-uniform\npoint cloud generation. To tackle this problem, we propose a novel Point\nDiffusion-Refinement (PDR) paradigm for point cloud completion. PDR consists of\na Conditional Generation Network (CGNet) and a ReFinement Network (RFNet). The\nCGNet uses a conditional generative model called the denoising diffusion\nprobabilistic model (DDPM) to generate a coarse completion conditioned on the\npartial observation. DDPM establishes a one-to-one pointwise mapping between\nthe generated point cloud and the uniform ground truth, and then optimizes the\nmean squared error loss to realize uniform generation. The RFNet refines the\ncoarse output of the CGNet and further improves quality of the completed point\ncloud. Furthermore, we develop a novel dual-path architecture for both\nnetworks. The architecture can (1) effectively and efficiently extract\nmulti-level features from partially observed point clouds to guide completion,\nand (2) accurately manipulate spatial locations of 3D points to obtain smooth\nsurfaces and sharp details. Extensive experimental results on various benchmark\ndatasets show that our PDR paradigm outperforms previous state-of-the-art\nmethods for point cloud completion. Remarkably, with the help of the RFNet, we\ncan accelerate the iterative generation process of the DDPM by up to 50 times\nwithout much performance drop.\n

研究の動機と目的

• 均一な密度とシャープな幾何学的ディテールを実現する点群補完の改善を動機付ける。
• 部分観測に条件付けられた粗い補完を生成する条件付きデノイジング拡散確率モデル（DDPM）を活用する。
• 多段階特徴抽出を行い3D点の位置を正確に操作する新規モジュールを備えたデュアルパスのCGNetとRFNetを設計する。
• 拡散ベースの生成を洗練化によって品質の大幅な低下を抑えつつ加速を実現する。
• MVP、MVP-40、Completion3Dでの広範な実験を通じて最新の性能を確立する。

提案手法

• CGNetがIncompleteデータに条件付けられた粗い補完を生成する条件付きDDPMタスクとして点群補完をモデル化する。
• Rev洗練RFNetを用いて粗い出力を洗練し表面品質を改善する。
• 条件特徴抽出サブネットとデノイズサブネットを備え、特徴転送モジュールで補強したデュアルパスアーキテクチャを採用する。
• アップサンプリング用のPoint Adaptive Deconvolution (PA-Deconv)と洗練ネットワーク内のPA-Deconvベースのアップサンプリングを導入する。
• 訓練時にはDDPM定式化から予測ノイズεθに対する単純化したMSE損失を最適化し、主DDPM経路のChamfer/EMD損失を回避する。
• 洗練過程では各点の変位を予測して最終表面を致密化・シャープ化し、 ground truth への Chamfer Distance で監視する。

実験結果

リサーチクエスチョン

• RQ1 条件付きDDPMベースのフレームワークは、従来手法と比べて補完点群の均一性と品質を向上させるか？
• RQ2 洗練ネットワークは拡散推論の速度向上を維持しつつ、DDPM生成の粗い補完を効果的に高められるか？
• RQ3 PA-Deconv、FT、そしてデュアルパスアーキテクチャは補完品質と効率にどのような影響を与えるか？
• RQ4 このパラダイムにおける密度の均一性（EMD）と局所的幾何学的ディテール（CD/視覚精度）のトレードオフはどうなるか？

主な発見

データセット	CD	EMD	F1
MVP (2048)	5.66	1.37	0.499
MVP40 (50% missing)	27.20	2.68	0.739
MVP40 (12.5% missing)	12.70	1.39	0.827
Completion3D	7.10	1.75	0.451

• PDRパラダイムは複数のベンチマーク（MVP、MVP-40、Completion3D）でCD、EMD、F1指標の面で従来の最先端手法を上回る。
• DDPMベースの条件付けは、CDに焦点を当てた訓練と比較してより均一な点分布（低EMD）と高品質な表面をもたらす。
• RFNetは拡散推論の最大50倍の加速を実現しつつ大幅な性能低下を伴わずに高品質な補完を維持する。
• PA-DeconvとFeature Transferモジュールを備えたデュアルパスCGNet/RFNetは、欠落点のマルチレベル特徴を効果的に活用して補完をガイドする。
• 各点の変位を用いた洗練ネットワークはジオメトリをさらに改善し、最終点群のアップサンプリングを可変的に制御できる。