[논문 리뷰] Diffusion Probabilistic Models for 3D Point Cloud Generation

Shitong Luo, Wei Hu|arXiv (Cornell University)|2021. 03. 02.

3D Shape Modeling and Analysis참고 문헌 26인용 수 24

한 줄 요약

확산 기반 확률 모델이 모양 잠재변수에 조건화된 역 마르코프 확산 과정을 학습함으로써 3D 포인트 클라우드를 생성하고, 경쟁력 있는 생성 및 자동 인코딩 성능을 달성합니다. 변분 하한(bound) 목표와 normalizing flows를 통한 잠재 사전(prior)을 사용합니다.

ABSTRACT

We present a probabilistic model for point cloud generation, which is fundamental for various 3D vision tasks such as shape completion, upsampling, synthesis and data augmentation. Inspired by the diffusion process in non-equilibrium thermodynamics, we view points in point clouds as particles in a thermodynamic system in contact with a heat bath, which diffuse from the original distribution to a noise distribution. Point cloud generation thus amounts to learning the reverse diffusion process that transforms the noise distribution to the distribution of a desired shape. Specifically, we propose to model the reverse diffusion process for point clouds as a Markov chain conditioned on certain shape latent. We derive the variational bound in closed form for training and provide implementations of the model. Experimental results demonstrate that our model achieves competitive performance in point cloud generation and auto-encoding. The code is available at \url{https://github.com/luost26/diffusion-point-cloud}.

연구 동기 및 목표

• 비정형 3D 포인트 클라우드를 위한 견고한 생성 모델링의 동기를 제시한다.
• 모양 잠재변수에 조건화된 확산 기반 역과정을 제안하여 포인트 클라우드를 생성한다.
• 조건부 확산 모델 학습을 위한 해석 가능한 변분 하한을 도출한다.
• 포인트 클라우드 생성 및 자동 인코딩에서 경쟁력 있는 성능을 보여준다.
• 비감독 태스크를 위한 표현 학습 능력을 보여준다.

제안 방법

• 포인트에 가우시안 노이즈를 더하는 마르코프 체인으로 순방향 확산을 모델링한다.
• 모델 역확산을 모양 잠재 z에 조건화된 학습 가능한 가우시안 마코프 커널로 모델링한다.
• 유연성을 위해 형태 잠재 사전 p(z)를 정규화 흐름으로 매개변수화한다.
• 닫힌 형태의 변분 하한과 해석 가능한 학습 목표를 도출한다.
• 인코더 q(z|X)에 PointNet을 사용하고 z 분포를 변환하기 위한 affine coupling flows를 사용한다.
• 이 프레임워크를 포인트 클라우드 생성, 자동 인코딩 및 무감독 표현 학습에 적용한다.

실험 결과

연구 질문

• RQ1 형상 잠재에 조건화된 확산 기반 역과정이 다양한 3D 포인트 클라우드를 정확하게 생성할 수 있는가?
• RQ2 잠재 z에 조건화하는 것이 생성 품질을 향상시키고 정규화 흐름을 통한 유연한 사전(p(z))을 가능하게 하는가?
• RQ3 변분 하한이 포인트 클라우드에서 확산 모델을 학습하는 데 해석 가능하고 효과적인가?
• RQ4 제안된 방법이 생성, 자동 인코딩 및 표현 학습 태스크에서 최신 연구와 비교하여 어떤 성능을 보이는가?
• RQ5 잠재 사전 및 인코더 설계가 재구성 및 잠재 표현에 미치는 영향은 무엇인가?

주요 결과

• 모델은 포인트 클라우드 생성 및 자동 인코딩에서 경쟁력 있는 성능을 달성한다.
• 형상 잠재에 조건화될 때 확산 기반 역과정은 의미 있는 3D 형태를 생성할 수 있다.
• 정규화 흐름은 잠재 형태 변수에 대해 유연한 사전(prior)을 제공하여 표현력을 향상시킨다.
• 학습 목표는 해석 가능하고 변분 하한으로부터 도출된다.
• 인코더와 확산 프레임워크는 무감독 태스크를 위한 의미 있는 잠재 표현을 생성한다.
• 잠재 공간 보간 및 시각화는 학습된 표현에서 의미 있는 구조를 보여준다.