[논문 리뷰] Spectral-GANs for High-Resolution 3D Point-cloud Generation

Sameera Ramasinghe, Salman Khan외 2명|arXiv (Cornell University)|2019. 12. 04.

3D Shape Modeling and Analysis참고 문헌 36인용 수 7

한 줄 요약

이 논문은 구면 조화 모멘트 벡터(SMVs)를 사용해 스펙트럼 도메인에서 작동하는 새로운 생성 적대적 네트워크인 Spectral-GAN을 제안한다. 이는 높은 해상도의 3D 포인트 클라우드를 효율적이고 확장 가능한 방식으로 생성할 수 있도록 하며, 계산 부담을 최소화한다. 모델은 단지 4배의 FLOPs 증가로 40배의 해상도 향상을 달성하며, 단일 이미지에서 고해상도 재구성과 고품질 생성을 위한 분별성 있는 비지도 특징을 학습한다.

ABSTRACT

Point-clouds are a popular choice for vision and graphics tasks due to their accurate shape description and direct acquisition from range-scanners. This demands the ability to synthesize and reconstruct high-quality point-clouds. Current deep generative models for 3D data generally work on simplified representations (e.g., voxelized objects) and cannot deal with the inherent redundancy and irregularity in point-clouds. A few recent efforts on 3D point-cloud generation offer limited resolution and their complexity grows with the increase in output resolution. In this paper, we develop a principled approach to synthesize 3D point-clouds using a spectral-domain Generative Adversarial Network (GAN). Our spectral representation is highly structured and allows us to disentangle various frequency bands such that the learning task is simplified for a GAN model. As compared to spatial-domain generative approaches, our formulation allows us to generate arbitrary number of points high-resolution point-clouds with minimal computational overhead. Furthermore, we propose a fully differentiable block to transform from {the} spectral to the spatial domain and back, thereby allowing us to integrate knowledge from well-established spatial models. We demonstrate that Spectral-GAN performs well for point-cloud generation task. Additionally, it can learn {a} highly discriminative representation in an unsupervised fashion and can be used to accurately reconstruct 3D objects.

연구 동기 및 목표

• 딥 러닝 생성 모델의 성능을 저해하는 3D 포인트 클라우드의 중복성과 비규칙성 문제를 해결하기 위해.
• 모델 복잡도가 비례적으로 증가하지 않도록 하면서도 확장 가능하고 고해상도의 3D 포인트 클라우드 생성을 가능하게 하기 위해.
• 스펙트럼 도메인 GAN 프레임워크를 사용해 3D 형태에 대한 분별성 있는 비지도 표현을 학습하기 위해.
• 완전 미분 가능한 스펙트럼-공간 변환 블록을 통해 공간 도메인 모델의 지식을 통합하기 위해.
• 학습된 특징을 사용해 단일 이미지에서 3D 재구성에서 최신 기술 수준의 성능을 입증하기 위해.

제안 방법

• 3D 포인트 클라우드를 스펙트럼 도메인에서 표현하기 위해 구면 조화 모멘트 벡터(SMVs)를 사용하여 중복성을 줄이고 순열 불변성을 달성한다.
• SMVs의 분포를 학습함으로써 새로운 3D 형태를 생성하는 스펙트럼 도메인 GAN을 훈련시키며, 주파수 대역의 분리 덕분에 생성 작업을 단순화한다.
• 스펙트럼에서 공간으로, 그리고 다시 공간에서 스펙트럼으로의 완전히 미분 가능한 변환 블록을 도입하여 공간 도메인 지식과 가이던스의 통합을 가능하게 한다.
• 모델은 두 단계의 생성 과정을 사용한다: 거친 형태 생성을 위한 전진 전파와 고주파 성분을 보정하기 위한 역전파.
• 생성자와 판별자는 적대적 손실을 사용해 엔드 투 엔드로 훈련되며, 판별자의 중간 특징은 비지도 표현 학습에 사용된다.
• SMVs의 최대 차수 M을 조정함으로써 해상도 확장성을 달성하며, 이는 아키텍처 변경 없이 n = 4M²개의 포인트를 생성할 수 있다.

실험 결과

연구 질문

• RQ1 주파수 성분을 분리함으로써 스펙트럼 도메인 생성 모델링이 3D 포인트 클라우드 생성을 단순화할 수 있는가?
• RQ2 스펙트럼 도메인에서 작동하는 GAN이 최소한의 계산 비용으로 고해상도 3D 포인트 클라우드 합성을 달성할 수 있는가?
• RQ3 제안된 미분 가능한 스펙트럼-공간 변환 블록이 공간 도메인 사전 지식의 효과적인 통합을 가능하게 하는가?
• RQ4 판별자가 3D 재구성에 유용한 강력한 분별성 있는 비지도 특징을 학습하는가?
• RQ5 Spectral-GAN은 단일 2D 이미지에서 최신 기술 수준의 성능으로 3D 형태를 재구성할 수 있는가?

주요 결과

• Spectral-GAN은 FLOPs 증가율이 4배에 그치는 동안 출력 해상도를 40배 향상시켜 놀라운 확장성을 입증한다 (최대 40,000개 포인트).
• ModelNet10 및 IKEA 데이터셋에서의 정성적 및 정량적 평가를 통해 최소한의 아티팩트로 고품질의 3D 형태를 생성한다.
• 판별자는 ModelNet10에서 이진 SVM을 사용해 93.1%의 분류 정확도를 달성하며, 강력한 분별성 표현 학습 능력을 보여준다.
• 단일 이미지에서의 3D 재구성에서, 소파 클래스에 대해 81.2%의 mAP, 침대 클래스에 대해 71.4%의 mAP를 기록하며 최신 기술 수준의 방법을 초월한다.
• 역전파 단계는 세부 구조의 정밀도를 크게 향상시켜 전진 전파만으로는 포착되지 않는 미세한 구조를 추가한다.
• SMV 차수 M을 조정하기만 하면 아키텍처 재학습 없이도 다양한 포인트 클라우드 해상도에서 높은 성능을 유지한다.