[논문 리뷰] Progressive Point Cloud Deconvolution Generation Network

Le Hui, Rui Xu외 3명|arXiv (Cornell University)|2020. 07. 10.

3D Shape Modeling and Analysis참고 문헌 47인용 수 8

한 줄 요약

이 논문은 끝내는 방식으로 단일 잠재 벡터에서 다중 해상도 포인트 클라우드를 생성하기 위해 학습 기반 이원 보간과 점진적 디컨볼루션 네트워크를 제안한다. 공간 및 특징 공간 인식 보간과 형태 유지 적인 생성적 대안 손실을 활용하여, 다양한 해상도 간에 일관된 국소적 및 전반적 기하학적 구조를 보장하며, ShapeNet 및 ModelNet 벤치마크에서 최고 성능을 달성한다.

ABSTRACT

In this paper, we propose an effective point cloud generation method, which can generate multi-resolution point clouds of the same shape from a latent vector. Specifically, we develop a novel progressive deconvolution network with the learning-based bilateral interpolation. The learning-based bilateral interpolation is performed in the spatial and feature spaces of point clouds so that local geometric structure information of point clouds can be exploited. Starting from the low-resolution point clouds, with the bilateral interpolation and max-pooling operations, the deconvolution network can progressively output high-resolution local and global feature maps. By concatenating different resolutions of local and global feature maps, we employ the multi-layer perceptron as the generation network to generate multi-resolution point clouds. In order to keep the shapes of different resolutions of point clouds consistent, we propose a shape-preserving adversarial loss to train the point cloud deconvolution generation network. Experimental results demonstrate the effectiveness of our proposed method.

연구 동기 및 목표

• 비지도 학습 및 끝내는 방식으로 고품질의 다중 해상도 포인트 클라우드를 생성하는 문제를 해결하기 위해.
• 동일한 잠재 코드에서 생성된 포인트 클라우드의 다양한 해상도 간 기하학적 일관성을 유지하기 위해.
• 기존 3D GAN 및 오토에인코더가 비정규 포인트 클라우드 구조를 다루기 어려우며 해상도 일관성이 부족한 한계를 극복하기 위해.
• 디컨볼루션과 보간을 사용해 거칠기에서 세밀한 특징을 점진적으로 구축하는 효율적인 프로그레시브 생성 프레임워크를 개발하기 위해.
• 다양한 해상도 간 이웃 통계를 일치시켜 구조적 일관성을 강제하는 새로운 형태 유지 손실을 도입하기 위해.

제안 방법

• 낮은 해상도 입력에서 고해상도 특징 맵을 생성하기 위해 스택된 디컨볼루션 블록을 사용하는 점진적 디컨볼루션 네트워크를 설계하였다.
• 포인트 클라우드 데이터에서 공간적 근접성과 특징 유사성을 동시에 모델링하여 특징 맵을 업샘플링하는 데 학습 기반 이원 보간을 도입하였다.
• 보간은 이웃 포인트의 3차원 좌표와 특징 임bedding을 기반으로 가중치를 학습하여 업샘플링 중 국소 기하학적 구조를 유지한다.
• 다중 해상도 특징 맵을 연결하여 최종 포인트 클라우드의 3차원 좌표를 예측하기 위해 다층 퍼셉트론(MLPs)을 사용하였다.
• 이웃 지역의 평균과 공분산을 일치시켜 인접한 해상도 간 일관성을 강제하기 위해 형태 유지 적인 생성적 대안 손실을 제안하였다.
• 제안된 형태 유지 손실을 사용하여 GAN 프레임워크 내에서 끝내는 방식으로 네트워크를 훈련시켰으며, 표준 GAN 또는 거리 기반 손실 대신 이를 대체하였다.

실험 결과

연구 질문

• RQ1 학습 기반 보간을 통한 점진적 디컨볼루션 네트워크가 단일 잠재 벡터에서 고품질의 다중 해상도 포인트 클라우드를 생성할 수 있는가?
• RQ2 훈련 중에 동일한 잠재 코드에서 생성된 포인트 클라우드의 다양한 해상도 간 기하학적 일관성을 어떻게 강제할 수 있는가?
• RQ3 학습 기반 이원 보간이 국소 포인트 클라우드 구조를 보존하는 데 기존의 표준 업샘플링 방법보다 우수한가?
• RQ4 제안된 형태 유지 적인 생성적 대안 손실이 표준 GAN, EMD 또는 카프어 거리 손실과 비교해 구조적 정밀도 유지에 어떻게 우월한가?
• RQ5 이중 보간에서 최적의 이웃 수(k)는 무엇이며, 생성 품질과 계산 비용 간의 균형을 어떻게 맞출 수 있는가?

주요 결과

• 제안된 방법은 ShapeNet 및 ModelNet 데이터셋에서 최고 성능을 달성하였으며, 다양한 해상도에서 CD, EMD 및 1-NNA 지표에서 최고 성능을 기록하였다.
• 형태 유지 적인 생성적 대안 손실을 사용함으로써, 2048개 포인트에서 'Chair' 카테고리에서 카프어 거리(CD)가 1.71로, 고전적 GAN, EMD 또는 CD 손실을 사용한 방법들을 능가하였다.
• 절단 실험 결과, 이중 보간에서 이웃 수(k)를 20으로 설정할 경우 품질과 계산 비용 간 최적의 균형을 이룩함을 확인하였다.
• 시각화 결과는 형태 유지 손실이 국소 및 전반적 기하학적 구조를 모든 해상도에서 효과적으로 일관되게 유지함을 확인하였다.
• 진행형 프레임워크는 점차 더 세밀한 해상도의 포인트 클라우드를 성공적으로 생성하였으며, 256에서 2048개 포인트로의 전환에서 국소 구조의 정밀도가 뚜렷하게 향상됨을 보였다.
• 정량적 결과는 PDGN이 모든 평가 지표에서 베이스라인 방법을 능가했음을 보여주었으며, 특히 1-NNA 및 COV에서 뛰어난 성능을 기록하여 이웃 보존 및 커버리지가 향상됨을 시사하였다.