[논문 리뷰] A Conditional Denoising Diffusion Probabilistic Model for Point Cloud Upsampling

Wentao Qu, Yuantian Shao외 3명|arXiv (Cornell University)|2023. 12. 03.

3D Shape Modeling and Analysis인용 수 4

한 줄 요약

이 논문은 희소 포인트 클라우드 입력에 기반해 밀도 높은 포인트 클라우드 데이터 분포의 기울기를 이중 매핑 파라다임을 통해 직접 학습하는 조건부 노이즈 제거 확산 확률 모델인 PUDM을 제안한다. 이는 명시적인 업샘플링 모듈의 필요성을 제거한다. PUDM는 PU1K 및 PUGAN 벤치마크에서 Chamfer Distance와 Hausdorff Distance 측정 기준으로 최신 기술 수준(SOTA) 성능을 달성하며, 학습된 비율 요소 파rameterization 덕분에 노이즈에 강건하고 임의의 스케일로 생성이 가능한 특징을 갖는다.

ABSTRACT

Point cloud upsampling (PCU) enriches the representation of raw point clouds, significantly improving the performance in downstream tasks such as classification and reconstruction. Most of the existing point cloud upsampling methods focus on sparse point cloud feature extraction and upsampling module design. In a different way, we dive deeper into directly modelling the gradient of data distribution from dense point clouds. In this paper, we proposed a conditional denoising diffusion probability model (DDPM) for point cloud upsampling, called PUDM. Specifically, PUDM treats the sparse point cloud as a condition, and iteratively learns the transformation relationship between the dense point cloud and the noise. Simultaneously, PUDM aligns with a dual mapping paradigm to further improve the discernment of point features. In this context, PUDM enables learning complex geometry details in the ground truth through the dominant features, while avoiding an additional upsampling module design. Furthermore, to generate high-quality arbitrary-scale point clouds during inference, PUDM exploits the prior knowledge of the scale between sparse point clouds and dense point clouds during training by parameterizing a rate factor. Moreover, PUDM exhibits strong noise robustness in experimental results. In the quantitative and qualitative evaluations on PU1K and PUGAN, PUDM significantly outperformed existing methods in terms of Chamfer Distance (CD) and Hausdorff Distance (HD), achieving state of the art (SOTA) performance.

연구 동기 및 목표

• 기존의 업샘플링 모듈과 CD 손실 감독을 통한 간접적 근사에 의존하는 포인트 클라우드 업샘플링 방법의 한계를 해결하기 위해.
• 특히 조건부 DDPM을 포함한 확률적 생성 모델을 활용하여 밀도 높은 포인트 클라우드 데이터 분포를 직접 모델링하고자 하기 위해.
• 희소 입력 구조에 대한 편향을 피하고 주요 특징을 활용하여 기하학적 세부 정보 복원을 향상시키기 위해.
• 학습 가능한 비율 요소를 통한 스케일 사전 지식 통합을 통해 추론 시 고해상도의 임의의 스케일 포인트 클라우드 생성을 가능하게 하기 위해.
• CD 손실에 의존하지 않고 DDPM의 내재된 노이즈 제거 아키텍처를 활용하여 노이즈에 대한 강건성을 향상시키기 위해.

제안 방법

• 희소 포인트 클라우드를 조건으로 사용하여 포인트 클라우드 업샘플링을 조건부 생성 문제로 설정하고, 노이즈 제거 확산 확률 모델(DDPM)을 적용한다.
• 실제로 밀도 높은 포인트 클라우드로부터 데이터 분포의 기울기를 학습하여 역방향 노이즈 제거 과정을 모델링함으로써, 복잡한 기하학적 구조에 직접 피팅할 수 있도록 한다.
• 이중 매핑 파라다임을 도입하여 다음 두 가지 매핑을 수립한다: (1) 생성된 희소 포인트 클라우드와 입력 희소 포인트 클라우드 간의 매핑, (2) 밀도 높은 포인트 클라우드와 노이즈 간의 매핑으로, 특징 인식 능력을 향상시킨다.
• 훈련 중에 스케일 비율에 대한 사전 지식를 코딩하기 위해 비율 요소를 파rameter화함으로써, 임의의 스케일 추론이 가능하도록 한다.
• 훈련 목표는 ELBO에서 유도되며, 확산 과정에서 예측된 노이즈와 진짜 노이즈 간의 재구성 손실을 최소화한다. 수식 표현은 $\mathbb{E}_{t,\epsilon}||\epsilon - \epsilon_\theta(\sqrt{1-\bar{\alpha}_t}\epsilon + \sqrt{\bar{\alpha}_t}x_0, t, C)||^2$ 로 나타낸다.
• DDPM의 자동 회귀적 성질 덕분에 포인트 단위 좌표 매핑이 내재적으로 보장되어, 모듈 기반 업샘플링에서 흔히 발생하는 기하학적 왜곡을 방지한다.

실험 결과

연구 질문

• RQ1 명시적인 업샘플링 모듈에 의존하지 않고, 조건부 노이즈 제거 확산 모델이 밀도 높은 포인트 클라우드의 기저 데이터 분포를 효과적으로 모델링할 수 있는가?
• RQ2 이중 매핑 파라다임은 포인트 클라우드 업샘플링에서 특징 구분 능력과 기하학적 세부 정보 복원 능력을 어떻게 향상시키는가?
• RQ3 학습 가능한 비율 요소의 통합이 추론 시 고해상도의 임의의 스케일 포인트 클라우드 생성을 가능하게 하는가?
• RQ4 CD 손실에 의존하는 방법과 비교해 DDPM 기반 접근법이 노이즈에 대해 더 뛰어난 강건성을 보이는가?
• RQ5 데이터 분포의 기울기를 직접 모델링하는 것이 간접적인 특징 기반 근사보다 더 뛰어난 재구성 정확도를 이끌어내는가?

주요 결과

• PUDM는 PU1K 및 PUGAN 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하여, Chamfer Distance(CD)와 Hausdorff Distance(HD) 모두에서 이전 방법들을 크게 앞서간다.
• PU1K에서 PUDM는 CD 0.00088과 HD 0.0021을 기록하여 뛰어난 재구성 정확도를 입증한다.
• PUGAN에서 PUDM는 CD 0.00102와 HD 0.0023을 기록하여 SOTA 성능을 추가로 확인한다.
• 모델은 노이즈에 강건한 성능을 보이며, 노이즈가 있는 입력 조건에서도 높은 품질의 출력을 유지한다.
• 시각적 결과에서는 기존 방법이 실패하는 영역—예를 들어 빨간 돼지의 얼굴 특징 등 미세한 기하학적 세부 정보—를 성공적으로 복원한다.
• 절단 실험 결과에 따르면, 이중 매핑과 비율 요소 파rameter화가 복잡한 구조를 유지하는 데 있어 핵심적인 기여를 한다.