[논문 리뷰] Unsupervised 3D Shape Learning from Image Collections in the Wild

Attila Szabó, Paolo Favaro|arXiv (Cornell University)|2018. 11. 26.

3D Shape Modeling and Analysis참고 문헌 27인용 수 4

한 줄 요약

이 논문은 레이블, 템플릿, 3D 레이블 없이도 쌍이 맞지 않는 이미지 컬렉션에서 3D 형태와 텍스처를 완전히 비지도 학습하는 방법을 제안한다. 다양한 기준으로 렌더링 가능한 GAN을 사용하여, 현실적인 3D 객체와 시야를 합성하는 모델을 훈련시키며, 실제 및 합성 데이터에서 비지도 3D 재구성 분야에서 최고의 성능을 달성한다.

ABSTRACT

We present a method to learn the 3D surface of objects directly from a collection of images. Previous work achieved this capability by exploiting additional manual annotation, such as object pose, 3D surface templates, temporal continuity of videos, manually selected landmarks, and foreground/background masks. In contrast, our method does not make use of any such annotation. Rather, it builds a generative model, a convolutional neural network, which, given a noise vector sample, outputs the 3D surface and texture of an object and a background image. These 3 components combined with an additional random viewpoint vector are then fed to a differential renderer to produce a view of the sampled object and background. Our general principle is that if the output of the renderer, the generated image, is realistic, then its input, the generated 3D and texture, should also be realistic. To achieve realism, the generative model is trained adversarially against a discriminator that tries to distinguish between the output of the renderer and real images from the given data set. Moreover, our generative model can be paired with an encoder and trained as an autoencoder, to automatically extract the 3D shape, texture and pose of the object in an image. Our trained generative model and encoder show promising results both on real and synthetic data, which demonstrate for the first time that fully unsupervised 3D learning from image collections is possible.

연구 동기 및 목표

• 쌍이 맞지 않는 2D 이미지 컬렉션에서 수동 레이블이나 3D 템플릿 없이 3D 형태와 텍스처 재구성을 가능하게 하기 위해.
• 기존 3D 재구성 방법에서 일반적으로 사용되는 자세, 특징점, 마스크, 영상 시퀀스에 의존하지 않도록 하기 위해.
• 다양한 기준 렌더러와 함께 적대적 훈련을 통해 이미지 데이터에서 직접 3D 구조를 학습하는 생성 모델을 개발하기 위해.
• 적대적 현실성에 기반한 시야 일관성 조건을 통해 순수하게 이미지 데이터에서 현실적인 3D 형태를 학습할 수 있음을 입증하기 위해.
• 실제(celebA) 및 합성(ShapeNet) 데이터셋에서 방법을 검증하여 완전히 비지도 3D 학습의 가능성을 입증하기 위해.

제안 방법

• 노이즈 벡터를 3D 메시, 텍스처, 배경 이미지로 매핑하는 생성 모델을 훈련한다.
• 다양한 기준 렌더러를 사용하여 생성된 3D 객체와 시점 벡터에서 새로운 시야를 합성한다.
• 실제 이미지와 렌더링된 이미지를 구분하는 디스criminator와 함께 생성자를 적대적으로 훈련한다.
• 고주파 잡음을 줄이기 위해 삼각형 법선이 부드럽지 않은 것을 방지하는 스무딩 손실($\mathcal{L}_S$)을 통합한다.
• 단일 입력 이미지에서 3D 형태, 텍스처, 자세를 추론하기 위해 인코더를 오토에인코더 구조의 일부로 훈련한다.
• 시점 샘플링을 통해 다양한 시야를 커버하면서, $\mathcal{L}_{GAN}(G,D) + \lambda_S \mathcal{L}_S(G)$의 병합 목적함수를 최적화한다.

실험 결과

연구 질문

• RQ1 쌍이 맞지 않는 2D 이미지에서 레이블, 템플릿, 레이블 없이도 3D 형태를 학습할 수 있는가?
• RQ2 이미지 수준의 현실성만을 지도 신호로 사용하여 현실적인 3D 객체와 시야를 생성하는 생성 모델을 훈련시킬 수 있는가?
• RQ3 생성된 3D 메시의 고주파 잡음을 어떻게 줄일 수 있으며, 동시에 의미 있는 형태 세부 정보를 유지할 수 있는가?
• RQ4 모델이 객체 카테고리에 대한 사전 지식 없이도 실세계 이미지 컬렉션인 CelebA에 얼마나 일반화될 수 있는가?
• RQ5 오토에인코더 구성 요소가 완전히 비지도 방식으로 단일 이미지에서 3D 형태, 텍스처, 자세를 효과적으로 재구성할 수 있는가?

주요 결과

• 이 방법은 레이블 없이도 CelebA 데이터셋에서 타당한 3D 형태와 텍스처 재구성을 달성하여 완전히 비지도 3D 학습의 가능성을 입증한다.
• 스무딩 손실($\mathcal{L}_S$)의 포함으로 3D 메시의 고주파 잡음이 크게 감소하면서도 코와 입술과 같은 주요 얼굴 특징은 유지된다.
• 스무딩 없이 생성된 3D 메시는 뚜렷한 고주파 노이즈를 보이며, 과도한 스무딩은 모델이 평균 타원형 형태로 붕괴하는 결과를 낳는다.
• 오토에인코더 변형은 단일 이미지에서 3D 형태와 텍스처를 성공적으로 재구성하지만, 지도 학습 방법에 비해 세부 정보가 덜하다.
• 객체 크기를 제한함으로써 빈 마스크 모호성을 완화하여, 반경 방향 확장이 임계값을 초과할 경우 크기 조정을 수행한다.
• ShapeNet 자동차 카테고리에서, 이 방법은 360도 전방위 렌더링이 가능한 합성 데이터로도 성공적으로 일반화되며, 다양한 데이터셋 간의 강건성을 확인한다.