[논문 리뷰] Learning Implicit Fields for Generative Shape Modeling

Zhiqin Chen, Hao Zhang|arXiv (Cornell University)|2018. 12. 06.

3D Shape Modeling and Analysis참고 문헌 51인용 수 60

한 줄 요약

IM-NET를 소개한다. 이는 3D 모양에 대한 암시적 필드 디코더로, 모양에 대해 점의 내부/외부 상태를 예측함으로써 자동 인코딩, 생성, 보간 및 단일 뷰 재구성에서 시각적 품질을 향상시킨다.

ABSTRACT

We advocate the use of implicit fields for learning generative models of shapes and introduce an implicit field decoder, called IM-NET, for shape generation, aimed at improving the visual quality of the generated shapes. An implicit field assigns a value to each point in 3D space, so that a shape can be extracted as an iso-surface. IM-NET is trained to perform this assignment by means of a binary classifier. Specifically, it takes a point coordinate, along with a feature vector encoding a shape, and outputs a value which indicates whether the point is outside the shape or not. By replacing conventional decoders by our implicit decoder for representation learning (via IM-AE) and shape generation (via IM-GAN), we demonstrate superior results for tasks such as generative shape modeling, interpolation, and single-view 3D reconstruction, particularly in terms of visual quality. Code and supplementary material are available at https://github.com/czq142857/implicit-decoder.

연구 동기 및 목표

• 암시적 필드를 보셀 기반 디코더에 비해 생성형 3D 모양의 우수한 표현으로 제시한다.
• 모양 특징을 주어진 공간 점에 대해 내부/외부 상태를 예측하는 간단한 암시적 필드 디코더(IM-NET)를 개발한다.
• 표면 품질과 토폴로지 처리 향상을 위해 IM-NET를 오토인코더, GAN, 및 SVR 파이프라인에서 시연한다.
• 암시적 필드가 학습 해상도 너머의 고해상도 샘플링과 더 부드러운 보간을 가능하게 함을 보여준다.

제안 방법

• 모양에 대한 내부/외부 상태에 따라 공간의 점 p에 0/1을 할당하는 암시적 필드 F(p)를 정의한다.
• 3D 점 p와 모양 특징 벡터를 입력으로 하는 MLP fθ로 F를 매개변수화하고 가중 MSE 손실을 사용하는 이진 분류기로 학습한다.
• 체적화된 모양(16^3 → 128^3)에서 점진적 학습을 사용하고 표면 근처의 점을 밀도 인식 가중치 w_p로 촘촘하게 샘플링한다.
• 전통적 디코더를 암시적 디코더로 대체하여 IM-AE 및 IM-GAN으로 IM-NET를 임베드한다.
• Marching Cubes를 통해 얻은 메쉬와 함께 2D/3D 모양 생성, 자동 인코딩, 보간 및 단일 뷰 3D 재구성에 IM-NET를 적용한다.

실험 결과

연구 질문

• RQ1 암시적 필드 디코더가 3D 모양 과제에서 보셀 기반 디코더에 비해 더 나은 표면 품질과 토폴로지 처리를 제공할 수 있는가?
• RQ2 IM-NET에서 점 좌표를 모양 특징과 함께 통합하는 것이 내부/외부 상태 학습과 경계 품질에 어떤 영향을 미치는가?
• RQ3 여러 카테고리에 걸쳐 IM-AE와 IM-GAN이 자동 인코딩, 생성, 보간 및 단일 뷰 재구성을 향상시키는가?
• RQ4 IM-NET를 사용할 때 CNN 기반 디코더와 비교한 학습 시간 및 샘플링 해상도의 트레이드오프는 무엇인가?
• RQ5 IM-NET를 2D 모양 및 고품질 표면의 SVR로 효과적으로 확장할 수 있는가?

주요 결과

• IM-NET는 CNN 기반 디코더보다 더 높은 시각적 품질의 표면과 더 나은 경계 정의를 제공한다.
• 암시적 필드는 임의의 해상도로 샘플링을 가능하게 하여 학습 해상도 너머의 더 선명한 메쉬를 생성한다.
• IM-GAN 및 IM-AE가 모양 생성 및 보간에서 베이스라인을 능가하며 더 부드러운 토폴로지 변화를 보인다.
• 3D와 2D 영역 전반에 걸쳐 IM-GAN/IM-AE는 시각 지표 및 정성적 결과가 경쟁력 있거나 우수하며, 특히 표면 품질에서 두드러진다.
• IM-SVR를 이용한 단일 뷰 재구성은 최신 SVR 방법과 대등하거나 우수한 성능을 보여주며 표면 충실도가 더 뛰어나다.