[논문 리뷰] Point Cloud GAN

Chunliang Li, Manzil Zaheer외 3명|arXiv (Cornell University)|2018. 09. 27.

3D Shape Modeling and Analysis인용 수 12

한 줄 요약

이 논문은 3D 포인트 클라우드 생성을 위해 잠재 변수에 대한 사후 추론과 계층적이고 해석 가능한 샘플링 과정을 도입하고, 와서르스타인 거리 추정을 강화하는 샌드위치 목적함수를 갖춘 새로운 GAN 프레임워크인 PC-GAN을 제안한다. 이 방법은 ModelNet40에서 최신 기술 수준의 성능을 달성하여 기존 GAN보다 포인트 클라우드 생성 품질과 다양한 이식 가능 잠재 표현 학습에서 뛰어난 성능을 보인다.

ABSTRACT

Generative Adversarial Networks (GAN) can achieve promising performance on learning complex data distributions on different types of data. In this paper, we first show a straightforward extension of existing GAN algorithm is not applicable to point clouds, because the constraint required for discriminators is undefined for set data. We propose a two fold modification to GAN algorithm for learning to generate point clouds (PC-GAN). First, we combine ideas from hierarchical Bayesian modeling and implicit generative models by learning a hierarchical and interpretable sampling process. A key component of our method is that we train a posterior inference network for the hidden variables. Second, instead of using only state-of-the-art Wasserstein GAN objective, we propose a sandwiching objective, which results in a tighter Wasserstein distance estimate than the commonly used dual form. Thereby, PC-GAN defines a generic framework that can incorporate many existing GAN algorithms. We validate our claims on ModelNet40 benchmark dataset. Using the distance between generated point clouds and true meshes as metric, we find that PC-GAN trained by the sandwiching objective achieves better results on test data than the existing methods. Moreover, as a byproduct, PC- GAN learns versatile latent representations of point clouds, which can achieve competitive performance with other unsupervised learning algorithms on object recognition task. Lastly, we also provide studies on generating unseen classes of objects and transforming image to point cloud, which demonstrates the compelling generalization capability and potentials of PC-GAN.

연구 동기 및 목표

• 포인트 클라우드는 순서가 없고 집합 기반 데이터이며 정의된 분류 제약 조건이 없기 때문에 표준 GAN을 그들에게 직접 적용하는 데 도전하는 문제를 해결하기 위해.
• 복잡한 3D 포인트 클라우드 분포를 학습할 수 있고 향상된 학습 안정성과 생성 품질을 제공하는 일반적이고 확장 가능한 GAN 프레임워크를 개발하기 위해.
• 하나의 작업을 지원하는 객체 인식과 같은 후속 작업을 가능하게 하는 분리된, 해석 가능한, 이식 가능한 포인트 클라우드 잠재 표현을 학습하기 위해.
• 강력한 잠재 공간을 통해 알려지지 않은 객체 클래스로의 일반화와 크로스 모달리티 생성(예: 이미지에서 포인트 클라우드로의 변환)을 가능하게 하기 위해.

제안 방법

• 잠재 변수가 구조적이고 해석 가능한 방식으로 샘플링되어 포인트 클라우드 기하학을 모델링할 수 있는 계층적 베이지안 생성 모델을 도입한다.
• 숨겨진 변수에 대한 진짜 사후 분포를 학습하기 위해 사후 추론 네트워크를 활용하여 엔드 투 엔드 학습을 가능하게 한다.
• 기존 이중형 GAN 목적함수보다 더 날카운 와서르스타인 거리 추정을 제공하는 샌드위치 목적함수를 제안한다.
• 계층적 샘플링 과정과 샌드위치 목적함수를 결합하여 다양한 GAN 아키텍처와 호환되는 일반적인 프레임워크를 형성한다.
• 주요 학습 및 평가 지표로 생성된 포인트 클라우드와 진짜 메시 간의 거리를 사용한다.

실험 결과

연구 질문

• RQ1 포인트 클라우드가 집합 기반이고 순서가 없기 때문에 표준 GAN을 그들에게 직접 적용할 수 있는가?
• RQ2 계층적이고 해석 가능한 샘플링 과정은 3D 포인트 클라우드의 학습과 생성을 어떻게 향상시킬 수 있는가?
• RQ3 제안된 샌드위치 목적함수는 기존 GAN 목적함수보다 더 날카운 와서르스타인 거리 추정을 제공하는가?
• RQ4 PC-GAN이 학습한 잠재 공간은 알려지지 않은 객체 클래스로 일반화되고 이미지에서 포인트 클라우드로의 변환을 지원할 수 있는가?
• RQ5 분리된 잠재 표현은 미세조정 없이도 비지도 객체 인식 작업에서 경쟁적인 성능을 달성할 수 있는가?

주요 결과

• 샌드위치 목적함수로 훈련된 PC-GAN은 생성된 포인트 클라우드와 실제 메시 간의 거리로 측정했을 때 ModelNet40 벤치마크에서 뛰어난 생성 품질을 달성한다.
• 이 방법은 미세조정 없이도 객체 인식 작업에서 경쟁적인 성능을 보이는 다양한 이식 가능한 분리된 잠재 표현을 학습한다.
• PC-GAN은 알려지지 않은 객체 클래스로의 강력한 일반화 성능을 보이며, 제로샷 생성에서의 안정성을 나타낸다.
• 프레임워크는 이미지에서 포인트 클라우드로의 변환을 성공적으로 지원하여 크로스 모달리티 생성 잠재력을 입증한다.
• 샌드위치 목적함수로 더 날카운 와서르스타인 거리 추정이 이루어져 학습 안정성과 샘플 품질이 향상된다.