[논문 리뷰] A Conditional Point Diffusion-Refinement Paradigm for 3D Point Cloud Completion

Zhaoyang Lyu, Zhifeng Kong외 3명|arXiv (Cornell University)|2021. 12. 07.

3D Shape Modeling and Analysis인용 수 41

한 줄 요약

두 단계 PDR 프레임워크를 도입하여 조건부 DDPM(CGNet)을 사용해 대략적이고 균일한 완전한 점 구름을 생성하고 RFNet으로 이를 정제하여, 적은 품질 저손실로 생성 속도를 최대 50배까지 가속하면서 상태-의 최첨단 보완을 달성합니다.

ABSTRACT

3D point cloud is an important 3D representation for capturing real world 3D objects. However, real-scanned 3D point clouds are often incomplete, and it is important to recover complete point clouds for downstream applications. Most existing point cloud completion methods use Chamfer Distance (CD) loss for training. The CD loss estimates correspondences between two point clouds by searching nearest neighbors, which does not capture the overall point density distribution on the generated shape, and therefore likely leads to non-uniform point cloud generation. To tackle this problem, we propose a novel Point Diffusion-Refinement (PDR) paradigm for point cloud completion. PDR consists of a Conditional Generation Network (CGNet) and a ReFinement Network (RFNet). The CGNet uses a conditional generative model called the denoising diffusion probabilistic model (DDPM) to generate a coarse completion conditioned on the partial observation. DDPM establishes a one-to-one pointwise mapping between the generated point cloud and the uniform ground truth, and then optimizes the mean squared error loss to realize uniform generation. The RFNet refines the coarse output of the CGNet and further improves quality of the completed point cloud. Furthermore, we develop a novel dual-path architecture for both networks. The architecture can (1) effectively and efficiently extract multi-level features from partially observed point clouds to guide completion, and (2) accurately manipulate spatial locations of 3D points to obtain smooth surfaces and sharp details. Extensive experimental results on various benchmark datasets show that our PDR paradigm outperforms previous state-of-the-art methods for point cloud completion. Remarkably, with the help of the RFNet, we can accelerate the iterative generation process of the DDPM by up to 50 times without much performance drop.

연구 동기 및 목표

• 균일한 밀도와 선명한 기하학적 디테일을 갖춘 점 구름 보완 향상을 목표로 한다.
• 부분 관측에 조건화된 대상으로 대략적인 완성을 생성하기 위해 조건부 denoising diffusion probabilistic models (DDPM)을 활용한다.
• 다중 수준 특징 추출과 3D 점 위치를 정확하게 조작하기 위한 신규 모듈의 이중 경로 CGNet과 RFNet 설계한다.
• 정밀한 품질 저하 없이 확산 기반 생성의 가속화를 정제 과정으로 달성한다.
• MVP, MVP-40, Completion3D에서의 광범위한 실험을 통해 최첨단 성능을 확립한다.

제안 방법

• CGNet이 불완전한 데이터에 조건화된 대략적 완성을 생성하는 조건부 DDPM 태스크로 점 구름 보완을 모델링한다.
• Rev 정제 RFNet을 사용해 대략적 출력을 정제하고 표면 품질을 향상시킨다.
• 조건 피처 추출 서브넷과 디노이즈 서브넷으로 구성된 이중 경로 아키텍처를 Feature Transfer 모듈로 보강한다.
• 업샘플링을 위한 Point Adaptive Deconvolution(PA-Deconv) 및 정제 네트워크의 PA-Deconv 기반 업샘플링을 도입한다.
• 학습 시 DDPM 공식에서 예측된 노이즈 εθ에 대한 단순화된 MSE 손실을 최적화하고 주요 DDPM 경로에 Chamfer/EMD 손실을 피한다.
• 정제 과정에서 지점별 변위(predicted per-point displacements)를 예측해 최종 표면을 밀도화하고 선명하게 하며 그라운드 트 truth와의 Chamfer Distance로 감독한다.

실험 결과

연구 질문

• RQ1 조건부 DDPM 기반 프레임워크가 기존 방법에 비해 완성된 점 구름의 균일성 및 품질을 개선하는가?
• RQ2 정제 네트워크가 diffusion 가속으로 얻는 속도 이득을 유지하면서 DDPM으로 생성된 대략적 완성을 효과적으로 향상시키는가?
• RQ3 PA-Deconv, FT 모듈과 이중 경로 아키텍처가 완성 품질과 효율성에 어떤 영향을 미치는가?
• RQ4 밀도 균일성(EMD)과 국부 기하학적 디테일(CD/시각 정확도) 간의 균형은 이 패러다임에서 어떻게 달성되는가?

주요 결과

• PDR 패러다임은 CD, EMD, F1 지표에서 MVP, MVP-40, Completion3D 등 여러 벤치마크에서 이전의 최첨단 방법보다 우수하다.
• DDPM 기반 조건화는 CD 중심 학습에 비해 점 분포가 더 균일하고(낮은 EMD) 표면이 고품질로 나타난다.
• RFNet은 확산 추론에서 최대 50배의 가속을 가능하게 하면서도 품질 저하 없이 고품질의 완성을 유지한다.
• PA-Deconv 및 Feature Transfer 모듈이 있는 CGNet/RFNet의 이중 경로는 다중 수준의 불완전한 점 특징을 효과적으로 활용해 완성을 안내한다.
• _PER-포인트 변위 기반의 정제 네트워크는 기하학을 더욱 개선하고 최종 점 구름의 업샘플링을 제어 가능하게 한다.