[논문 리뷰] PointFlow: 3D Point Cloud Generation with Continuous Normalizing Flows

Guandao Yang, Xun Huang외 4명|arXiv (Cornell University)|2019. 06. 28.

3D Shape Modeling and Analysis참고 문헌 56인용 수 72

한 줄 요약

PointFlow 모델은 두 개의 쌓인 연속 정규화 흐름을 사용하여 3D 포인트 클라우드를 형태 분포와 형태를 가진 포인트 분포의 분포로 표현하여 엔드 투 엔드 가능도 기반 학습과 고충실도 생성을 가능하게 한다.

ABSTRACT

As 3D point clouds become the representation of choice for multiple vision and graphics applications, the ability to synthesize or reconstruct high-resolution, high-fidelity point clouds becomes crucial. Despite the recent success of deep learning models in discriminative tasks of point clouds, generating point clouds remains challenging. This paper proposes a principled probabilistic framework to generate 3D point clouds by modeling them as a distribution of distributions. Specifically, we learn a two-level hierarchy of distributions where the first level is the distribution of shapes and the second level is the distribution of points given a shape. This formulation allows us to both sample shapes and sample an arbitrary number of points from a shape. Our generative model, named PointFlow, learns each level of the distribution with a continuous normalizing flow. The invertibility of normalizing flows enables the computation of the likelihood during training and allows us to train our model in the variational inference framework. Empirically, we demonstrate that PointFlow achieves state-of-the-art performance in point cloud generation. We additionally show that our model can faithfully reconstruct point clouds and learn useful representations in an unsupervised manner. The code will be available at https://github.com/stevenygd/PointFlow.

연구 동기 및 목표

• 3D 포인트 클라우드를 형태 분포와 형태 내 포인트 분포의 분포로 확률적 모델링한다.
• 학습된 형태에서 임의의 포인트 수의 포인트 클라우드를 샘플링할 수 있도록 한다.
• 정확한 가능도 계산을 위해 가역 흐름으로의 변분 추론을 사용하여 엔드투엔드 학습.
• 포인트 클라우드 생성을 위한 GAN 기반 방법에 대한 원칙적인 대안을 제공한다.

제안 방법

• 형태 분포를 잠재 형태 변수 z에 대해 CNF로 모델링한다.
• 특정 형태에서의 포인트 분포를 조건부 CNF G_theta로 모델링하여 선행 y(t0) ~ N(0,I)를 z에 조건부로 포인트 x로 매핑한다.
• GaussianPrior w에서 작동하는 학습 가능한 CNF F_psi를 통해 형태 z 위의 CNF 기반 사전분포를 사용한다.
• 사전 분포 항, 재구성 항, 포스터리어 엔트로피를 포함하는 변분 하한(ELBO)으로 학습한다.
• F_psi를 통해 z를 샘플링한 다음 z에 조건부인 G_theta를 통해 포인트를 생성하여 가우시안 사전으로부터 시작한다.
• CNF 밀도 추정에 의해 정확한 로그가능도를 제공하고 엔드투엔드 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 분포의 분포 프레임워크(형태당 형태와 포인트) 가 포인트 클라우드 생성 품질과 유연성을 향상시킬 수 있는가?
• RQ2 형태 사전과 포인트 생성 모두에 연속 정규화 흐름을 사용하면 원칙적 가능도 기반 학습과 더 나은 재구성을 가능하게 하는가?
• RQ3 PointFlow는 표준 메트릭과 비감독 표현 학습에서 GAN 기반 포인트 클라우드 생성기와 비교했을 때 어떤 차이가 있는가?

주요 결과

• PointFlow는 ShapeNet 카테고리 전반에서 포인트 클라우드 생성에 있어 최첨단 성능을 달성하고 1-NNA 및 다른 지표에서 베이스라인을 능가한다.
• 학습된 형태에서 임의의 수의 포인트를 샘플링할 수 있어 고정 크기 포인트 집합의 한계를 해결한다.
• 형태에 대한 CNF 기반 사전과 포인트 생성을 위한 조건부 CNF로 닫힌 형식의 가능도를 가능하게 하여 GAN 없이도 안정적인 엔드투엔드 학습을 가능하게 한다.
• 이 접근법은 다운스트림 작업(예: ModelNet 분류)에 대해 경쟁력 있는 비지도 학습 표현을 제공한다.
• PointFlow는 일부 베이스라인보다 더 적은 매개변수를 사용하면서 성능을 유지하거나 개선한다.