[논문 리뷰] Learning a Hierarchical Latent-Variable Model of 3D Shapes

Shikun Liu, C. Lee Giles외 1명|arXiv (Cornell University)|2017. 05. 17.

3D Shape Modeling and Analysis참고 문헌 47인용 수 3

한 줄 요약

이 논문은 비지도 학습 방식으로 3D 볼록 모양의 다층적이고 분리된 잠재 표현을 학습하는 계층적 변분 autoencoder인 Variational Shape Learner(VSL)을 제안한다. 잠재 공간에 구조적 계층을 강제함으로써 VSL은 고해상도 3D 생성, 단일 이미지에서의 우수한 형태 복원, 효과적인 형태 산술을 가능하게 하며, 기존 최고 수준의 모델보다 훨씬 적은 파라미터로도 비지도 분류 및 3D 복원에서 뛰어난 성능을 달성한다.

ABSTRACT

We propose the Variational Shape Learner (VSL), a generative model that learns the underlying structure of voxelized 3D shapes in an unsupervised fashion. Through the use of skip-connections, our model can successfully learn and infer a latent, hierarchical representation of objects. Furthermore, realistic 3D objects can be easily generated by sampling the VSL's latent probabilistic manifold. We show that our generative model can be trained end-to-end from 2D images to perform single image 3D model retrieval. Experiments show, both quantitatively and qualitatively, the improved generalization of our proposed model over a range of tasks, performing better or comparable to various state-of-the-art alternatives.

연구 동기 및 목표

• 기존 3D 형태 생성 모델에서의 평평하고 단일 수준의 잠재 표현의 한계를 해결하여 모델의 표현력과 일반화 능력을 향상시키기 위해.
• 모서리에서 복잡한 구조에 이르기까지 다층적 추상화를 포괄하는 계층적이고 분리된 3D 형태의 잠재 표현을 학습하기 위해.
• 인간이 레이블링한 관절, 세그멘테이션 또는 자세 정보에 의존하지 않고도 완전히 비지도 방식으로 3D 형태 생성 및 복원을 가능하게 하기 위해.
• 기존 최고 수준의 모델 대비 비지도 3D 형태 분류 및 단일 이미지 기반 3D 복원에서 성능 향상을 이루기 위해.
• 형태 산술과 의미 있는 보간을 통해 학습된 잠재 공간의 유용성을 입증하기 위해.

제안 방법

• 잠재 공간에서의 계층적 추상화를 강제하기 위해 인코더와 디코더 레이어 간의 스킵 커넥션을 사용하는 깊이 있는 변분 autoencoder 아키텍처를 사용한다.
• 각 잠재 변수 계층은 별도의 추상화 수준을 모델링하도록 제약되며, 상위 계층이 조건부 생성을 통해 하위 계층의 특징을 제어한다.
• 변분 추론과 암시적 추론을 사용하여 데이터의 로그우도에 대한 변분 하한을 최소화함으로써 모델을 종합적으로 훈련시킨다.
• 구조적 사전 확률를 복잡한 구조적 사전 확률나 추가 정규화가 필요 없도록 아키텍처 설계를 통해 암묵적으로 강제한다.
• 2D 이미지와 볼록화된 3D 형태를 동시에 훈련시켜, 자세나 관절 정보에 대한 지도 없이도 단일 이미지 기반 3D 복원을 가능하게 한다.
• 학습된 계층적 잠재 코드 상에서 직접 벡터 산술 연산을 수행하여 새로운 의미적으로 유의미한 3D 형태를 생성한다.

실험 결과

연구 질문

• RQ1 계층적 잠재 변수 모델은 평평한 잠재 모델보다 3D 형태에 대해 더 표현력 있고 분리된 표현을 학습할 수 있는가?
• RQ2 변분 autoencoder에 스킵 커넥션을 적용함으로써 3D 형태 생성을 위한 잠재 공간에 구조적 계층을 효과적으로 강제할 수 있는가?
• RQ3 제안된 모델은 인간 레이블링 자료 없이도 비지도 3D 형태 분류에서 최고 수준의 성능을 달성하는가?
• RQ4 모델은 음영과 다양한 조명 조건, 가림을 견뎌내며 단일 2D 이미지에서 고해상도 3D 형태를 복원할 수 있는가?
• RQ5 학습된 계층적 잠재 공간에서의 벡터 연산은 의미적으로 유의미하고 현실적인 3D 형태 보간을 생성하는가?

주요 결과

• VSL은 기존 최고 수준의 비지도 모델보다 3D 형태 분류에서 뛰어난 성능을 보였으며, ModelNet40에서 100차원 미만의 잠재 코드로 92.4%의 정확도를 달성했고, 3D-GAN의 250만 차원 대비 훨씬 적은 파라미터를 사용했다.
• PASCAL 3D에서 별도로 훈련된 VSL은 10개 카테고리 중 8개에서 3D-R2N2 ResNet 모델을 초월했으며, 평균 IoU는 0.619로 3D-R2N2의 0.571보다 높았다.
• 별도로 훈련된 설정에서 VSL은 'aero' 클래스에 대해 0.631의 IoU, 'bike' 클래스에 대해 0.657의 IoU를 기록했으며, 3D-R2N2 LSTM 버전(각각 0.472 및 0.330)을 크게 능가했다.
• t-SNE를 통한 잠재 공간 시각화에서 ModelNet10과 ModelNet40 양쪽 모두에서 명확한 클래스 간 분리가 관찰되어, 형태 클래스의 효과적인 분리와 군집화가 이루어졌음을 시사한다.
• 형태 산술 실험에서 '자동차 + 비행기' 조합이 비행 가능한 차량 유사한 객체를 생성하는 등, 잠재 공간 내 의미 있는 의미론적 구조가 존재함을 입증했다.
• 학습된 계층적 잠재 다양체에서 샘플링을 통해 현실적인 3D 형태를 생성할 수 있었으며, 실제 형태와의 매칭이나 후처리가 필요 없었다.