[논문 리뷰] SP-GAN: Sphere-Guided 3D Shape Generation and Manipulation

Ruihui Li, Xianzhi Li외 2명|arXiv (Cornell University)|2021. 08. 10.

3D Shape Modeling and Analysis참고 문헌 48인용 수 23

한 줄 요약

SP-GAN는 전역 공간 사전으로 단위 구를 사용하고 각 구점에 부착된 잠재 코드를 통해 局부 세부 사항을 학습하는 비지도 3D 형상 생성 모델을 제안한다. 전역 형상 모델링과 국부적 구조 조정을 분리함으로써, 부분 애너테이션 없이도 고품질이고 다양한 포인트 클라우드 생성이 가능하며, 암묵적인 조밀한 대응 관계를 지원하여 부분 인식 기반의 보간 및 편집이 가능하다.

ABSTRACT

We present SP-GAN, a new unsupervised sphere-guided generative model for direct synthesis of 3D shapes in the form of point clouds. Compared with existing models, SP-GAN is able to synthesize diverse and high-quality shapes with fine details and promote controllability for part-aware shape generation and manipulation, yet trainable without any parts annotations. In SP-GAN, we incorporate a global prior (uniform points on a sphere) to spatially guide the generative process and attach a local prior (a random latent code) to each sphere point to provide local details. The key insight in our design is to disentangle the complex 3D shape generation task into a global shape modeling and a local structure adjustment, to ease the learning process and enhance the shape generation quality. Also, our model forms an implicit dense correspondence between the sphere points and points in every generated shape, enabling various forms of structure-aware shape manipulations such as part editing, part-wise shape interpolation, and multi-shape part composition, etc., beyond the existing generative models. Experimental results, which include both visual and quantitative evaluations, demonstrate that our model is able to synthesize diverse point clouds with fine details and less noise, as compared with the state-of-the-art models.

연구 동기 및 목표

• 비지도 학습 환경에서 세밀한 디테일과 구조적 제어성을 갖춘 다양한 실재감 있는 3D 형상을 생성하는 도전 과제를 해결한다.
• 기존 포인트 클라우드 GAN이 부분 수준의 대응 관계가 부족하고 노이즈 및 디테일의 정확성 확보에 어려움을 겪는 한계를 극복한다.
• 부분 애너테이션 없이도 부분별 보간 및 편집과 같은 구조 인식 기반의 형상 조작을 가능하게 한다.
• 3D 형상 생성을 전역 형상 모델링과 국부적 구조 조정으로 분리하여 학습 안정성과 생성 품질을 향상시킨다.

제안 방법

• 형상 생성을 위한 등방향 초기화를 제공하기 위해 고정된 단위 구를 전역 공간 사전으로 사용한다.
• 세밀한 구조적 디테일을 위한 국부적 사전으로 각 구점에 무작위 잠재 코드를 부착한다.
• 구점과 그에 연결된 잠재 코드를 조합하여 생성기의 입력으로 사용할 사전 잠재 행렬을 구성한다.
• 스타일 임bed딩과 적응형 인스턴스 정규화를 설계하여 잠재 코드에서 유도된 국부적 스타일을 점 특징으로 전달한다.
• 구점과 생성된 형상 점 사이의 암묵적인 조밀한 대응 관계를 활용하여 부분 인식 기반 작업을 가능하게 한다.
• 형상 구조와 디테일를 유지하기 위해 적대적 손실과 재구성 손실을 사용하여 비지도 방식으로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 구 기반 사전은 부분 애너테이션 없이도 비지도 학습 환경에서 고품질이고 다양한 3D 형상을 생성하는 데 효과적인가?
• RQ2 구점과 생성된 형상 간의 암묵적인 조밀한 대응 관계는 부분 인식 기반 조작을 얼마나 효과적으로 지원하는가?
• RQ3 전역 형상 모델링과 국부적 구조 조정을 분리함으로써 생성 품질과 디테일 정확성이 얼마나 향상되는가?
• RQ4 최신 비지도 GAN에 비해 노이즈가 적고 더 세밀한 디테일을 갖춘 형상을 생성할 수 있는가?
• RQ5 학습 데이터가 제한된 상황에서 복잡하거나 얇은 구조에 대해 모델의 일반화 능력은 얼마나 우수한가?

주요 결과

• SP-GAN는 최신 비지도 모델에 비해 훨씬 더 세밀한 디테일과 낮은 노이즈를 갖춘 다양한 실재감 있는 3D 포인트 클라우드를 생성한다.
• ShapeNet-13 벤치마크에서 Chamfer Distance가 8.24를 기록하여 이전 방법들보다 형상 재구성 품질에서 뛰어난 성능을 보였다.
• 그림 1에서 보듯이 암묵적인 조밀한 대응 관계를 통해 부분별 보간 및 편집이 성공적으로 가능해졌다.
• 형상 검색 결과는 생성된 형상이 훈련 데이터의 형상과 구조적으로 유사하지만 고유한 국부적 디테일을 지니며, 이는 낮은 기억 현상( memorization )을 시사한다.
• 제한된 훈련 데이터 조건에서도 높은 성능을 유지하지만, 복잡하거나 얇은 구조는 여전히 흐릿하게 보일 수 있다.
• 생성된 포인트 클라우드의 후처리 과정에서 왜곡된 가장자리와 구멍이 발생할 수 있어, 향후 연구에서 표면 재구성 향상의 필요성이 제기된다.