[논문 리뷰] Shape Generation using Spatially Partitioned Point Clouds

Matheus Gadelha, Subhransu Maji외 1명|arXiv (Cornell University)|2017. 07. 19.

3D Shape Modeling and Analysis참고 문헌 20인용 수 5

한 줄 요약

이 논문은 kd-트리 순서를 활용한 공간 분할 점군을 통해 모든 3D 형상 간 일관된 점 순서를 보장함으로써 경량적이고 확장 가능한 3D 형상 생성 방법을 제안한다. 주어진 점군에 대해 PCA를 적용하여 선형 형상 기저를 유도하고, 형상 계수의 다중 모달 분포를 모델링하기 위해 GAN을 사용함으로써, PPCA 및 3D-GAN 기준선 대비 뛰어난 생성 품질을 달성한다. 모델 크기는 크게 감소하고 학습 속도는 빨라지며, 법선 및 색상과 같은 다중 속성 출력도 지원한다.

ABSTRACT

We propose a method to generate 3D shapes using point clouds. Given a point-cloud representation of a 3D shape, our method builds a kd-tree to spatially partition the points. This orders them consistently across all shapes, resulting in reasonably good correspondences across all shapes. We then use PCA analysis to derive a linear shape basis across the spatially partitioned points, and optimize the point ordering by iteratively minimizing the PCA reconstruction error. Even with the spatial sorting, the point clouds are inherently noisy and the resulting distribution over the shape coefficients can be highly multi-modal. We propose to use the expressive power of neural networks to learn a distribution over the shape coefficients in a generative-adversarial framework. Compared to 3D shape generative models trained on voxel-representations, our point-based method is considerably more light-weight and scalable, with little loss of quality. It also outperforms simpler linear factor models such as Probabilistic PCA, both qualitatively and quantitatively, on a number of categories from the ShapeNet dataset. Furthermore, our method can easily incorporate other point attributes such as normal and color information, an additional advantage over voxel-based representations.

연구 동기 및 목표

• 구조가 없는 점군에서 3D 형상을 생성하는 데 도전하는 문제를 해결한다. 이는 고유한 순서가 없으며 기존의 컨볼루션 아키텍처와 호환되지 않는다.
• 볼륨 기반 표현 방식의 한계를 극복한다. 특히 고해상도에서 흐린 메모리 낭비가 심하고 확장성이 떨어지기 때문이다.
• kd-트리를 통한 일관되고 국소성 보존 순서를 도입함으로써 점군에서의 생성 모델 학습을 효과적으로 가능하게 하여 컨볼루션 네트워크의 사용을 촉진한다.
• 확률적 PCA와 같은 선형 모델의 한계를 극복하기 위해, 깊이 있는 생성 네트워크를 활용해 형상 계수의 복잡한 다중 모달 분포를 모델링한다.
• 표면 법선, 색상 등 추가 점 속성을 동일한 프레임워크 내에서 원활하게 통합하여 생성된 형상의 현실감과 유용성을 향상시킨다.

제안 방법

• 모든 3D 형상 간 일관된 국소성 보존 순서를 확보하기 위해 kd-트리를 사용해 점군을 공간적으로 분할하고 순서를 정렬한다.
• 정렬된 점군에 대해 PCA를 적용하여 선형 형상 기저와 해당 형상 계수를 유도함으로써 저차원 잠재 표현을 형성한다.
• PCA 재구성 오차를 최소화함으로써 점 순서를 반복적으로 최적화하여 기저 품질과 형상 간 정렬을 향상시킨다.
• 불완전한 공간 정렬로 인해 발생하는 복잡한 다중 모달 분포를 모델링하기 위해 형상 계수에 대해 생성적 적대적 네트워크(GAN)를 학습시킨다.
• 정렬된 점 목록에 대해 1D 컨볼루션 GAN 아키텍처를 적용하여 GAN + PCA 파이프라인 대신 직접 순서화된 시퀀스에서 생성을 수행한다.
• 공간 좌표 외에도 표면 법선, 색상, 텍스처 좌표를 포함한 표현으로 확장함으로써 다중 속성 생성을 지원한다.

실험 결과

연구 질문

• RQ1 kd-트리 순서를 통한 비구조적 점군의 공간 일관성 있는 순서 정렬이 딥러닝 아키텍처를 활용한 효과적인 3D 형상 생성을 가능하게 하는가?
• RQ2 kd-트리 순서의 국소성 보존 성질이 x+y+z 기반 순서와 같은 국소성 보존 불가 순서와 비교해 형상 생성 품질에 어떤 영향을 미치는가?
• RQ3 정렬된 점 좌표에 직접 훈련된 1D 컨볼루션 GAN이 명시적인 형상 기저 없이도 고품질의 3D 형상을 생성할 수 있는가?
• RQ4 형상 계수의 분포를 GAN으로 모델링하는 것이 확률적 PCA와 같은 선형 모델 대비 생성 품질을 크게 향상시키는가?
• RQ5 제안된 방법은 고해상도에서 높은 품질의 생성을 유지하면서도 법선 및 색상과 같은 다중 속성 출력을 지원하는 효율적인 확장성을 갖는가?

주요 결과

• 제안된 방법은 여러 ShapeNet 카테고리에서 정성적 및 정량적 평가에서 모두 Probabilistic PCA 및 3D-GAN 기준선을 뛰어넘는 성능을 보였다.
• 3D-GAN 기준선 대비 모델 크기와 학습 속도가 약 10배 이상 개선되었으며, 유사하거나 더 높은 품질의 결과를 훨씬 낮은 계산 비용으로 달성했다.
• kd-트리 순서는 핵심 요소이다. x+y+z 기반의 국소성 보존 불가 순서로 대체할 경우 그림 8에서 보듯이 열악한 생성 품질을 보였다.
• 직접 정렬된 점 목록에 훈련된 1D 컨볼루션 GAN은 신뢰할 수 있는 형상을 생성할 수 있었으며, 이는 kd-트리 순서가 국소 수신장역할을 효과적으로 활용할 수 있음을 시사한다.
• 잠재 계수 공간에서의 형상 보간은 비선형적이며 자연스러운 전이를 보이며, 이는 모델이 복잡하고 분리된 형상 변형을 잘 포착하고 있음을 나타낸다.
• 이 방법은 볼륨 기반 GAN이 자연스럽게 지원하지 않는 법선 및 색상과 같은 다중 속성 형상 생성을 자연스럽게 지원한다.