[논문 리뷰] Learning a Hierarchical Latent-Variable Model of Voxelized 3D Shapes.

Shikun Liu, Alexander G. Ororbia외 1명|arXiv (Cornell University)|2017. 05. 17.

3D Shape Modeling and Analysis인용 수 3

한 줄 요약

변분형태학습기(VSL)는 스킵커넥션을 사용하여 비지도 학습 방식으로 볼록화된 3D 형태의 분리된 계층적 잠재 표현을 학습하는 계층적 변분 오토에코더이다. 이는 2D 이미지를 입력으로 사용하여 단일 이미지 3D 검색을 위한 엔드 투 엔드 학습을 가능하게 하며, 학습된 잠재 다양체에서 샘플링을 통해 현실적인 3D 객체를 생성한다. 이는 일반화 성능에서 최신 기법들을 능가한다.

ABSTRACT

We propose the Variational Shape Learner (VSL), a generative model that learns the underlying structure of voxelized 3D shapes in an unsupervised fashion. Through the use of skip-connections, our model can successfully learn and infer a latent, hierarchical representation of objects. Furthermore, realistic 3D objects can be easily generated by sampling the VSL's latent probabilistic manifold. We show that our generative model can be trained end-to-end from 2D images to perform single image 3D model retrieval. Experiments show, both quantitatively and qualitatively, the improved generalization of our proposed model over a range of tasks, performing better or comparable to various state-of-the-art alternatives.

연구 동기 및 목표

• 3D 볼록화 형태의 분리된 계층적 잠재 표현을 3D 감독 없이 학습하는 것.
• 2D 이미지에서 3D 형태 검색으로의 엔드 투 엔드 학습을 가능하게 하여 3D 애너테이션에 대한 의존도를 줄이는 것.
• 학습된 확률적 잠재 다양체에서 샘플링을 통해 현실적인 3D 객체를 생성하는 것.
• 기존 생성 모델에 비해 3D 형태 복원 및 검색 작업에서의 일반화 능력을 향상시키는 것.

제안 방법

• 스킵커넥션을 활용하여 여러 수준의 추상화에서 훈련 안정성과 특징 학습을 향상시키는 계층적 변분 오토에코더(VAE)를 사용한다.
• 각 수준이 거시적에서 미세한 형태 구성요소까지 다른 수준의 구조적 세부 정보를 캡처하는 계층적 잠재 공간을 사용한다.
• 스킵커넥션은 공간 정보를 유지하고 엔드 투 엔드 훈련 중 기울기 흐름을 촉진한다.
• 2D 이미지를 입력으로 사용하여 3D 형태 생성을 감독하기 위해 가시화 가능한 렌더링 과정을 활용해 엔드 투 엔드로 훈련한다.
• VAE 아키텍처는 잠재 공간의 확률적 모델링을 가능하게 하여 샘플링을 통한 다양하고 현실적인 3D 형태 생성을 가능하게 한다.
• 비지도 사전학습과 단일 이미지 3D 검색을 위한 파인튜닝을 모두 지원하도록 아키텍처를 설계하였다.

실험 결과

연구 질문

• RQ1 스킵커넥션을 갖춘 계층적 VAE는 비지도 방식으로 3D 볼록화 형태의 의미 있는 분리된 표현을 학습할 수 있는가?
• RQ2 오직 2D 이미지에서만 훈련된 모델이 3D 형태 검색 및 복원에 얼마나 잘 일반화되는가?
• RQ3 평탄한 잠재 공간에 비해 계층적 잠재 구조는 생성 품질과 분리도 향상에 어떻게 기여하는가?
• RQ4 스킵커넥션의 사용은 3D 형태 생성에서 훈련 안정성과 성능 향상에 기여하는가?
• RQ5 제안된 모델은 최신 기법에 비해 3D 형태 생성 및 검색 성능에서 어떻게 비교되는가?

주요 결과

• VSL 모델은 최신 기준 기준에 비해 3D 형태 복원 및 검색 작업에서 뛰어난 일반화 성능을 달성한다.
• 계층적 잠재 공간은 형태 구성요소의 더 나은 분리도를 가능하게 하여 더 해석 가능하고 제어 가능한 생성을 이룬다.
• 학습된 잠재 다각체에서의 샘플링은 현실적이고 다양한 3D 형태를 생성하며, 이는 모델의 생성 능력을 입증한다.
• 모델는 2D 이미지에서 3D 형태 검색으로의 엔드 투 엔드 훈련을 성공적으로 수행하여 강력한 제로샷 일반화 성능을 보였다.
• 실험 결과 스킵커넥션이 3D 형태 생성에서 훈련 안정성과 최종 성능 향상에 크게 기여하는 것으로 나타났다.