[논문 리뷰] Single-view Object Shape Reconstruction Using Deep Shape Prior and Silhouette

Kejie Li, Ravi Garg외 2명|arXiv (Cornell University)|2018. 11. 29.

Advanced Vision and Imaging참고 문헌 67인용 수 5

한 줄 요약

이 논문은 깊이 신경망 오토에인코더를 사용해 잠재 형태 공간을 학습하고, 이를 혼합 정규분포 모델(GMM)로 모델링한 확률적 형태 사전을 활용한 단일 시각 3D 형태 재구성 방법을 제안한다. 추론 시, 실제 이미지 세그멘테이션 네트워크에서 유도된 실루엣 일致성과 GMM 사전을 동시에 최적화하여, 엔드 투 엔드 훈련이나 합성 데이터 없이도 최신 기술 수준의 성능을 달성한다. 이는 명시적 형태 사전이 딥 러닝 기반 방법과 견줄 만한 성능을 낼 수 있음을 보여준다.

ABSTRACT

3D shape reconstruction from a single image is a highly ill-posed problem. Modern deep learning based systems try to solve this problem by learning an end-to-end mapping from image to shape via a deep network. In this paper, we aim to solve this problem via an online optimization framework inspired by traditional methods. Our framework employs a deep autoencoder to learn a set of latent codes of 3D object shapes, which are fitted by a probabilistic shape prior using Gaussian Mixture Model (GMM). At inference, the shape and pose are jointly optimized guided by both image cues and deep shape prior without relying on an initialization from any trained deep nets. Surprisingly, our method achieves comparable performance to state-of-the-art methods even without training an end-to-end network, which shows a promising step in this direction.

연구 동기 및 목표

• 단일 시각 3D 형태 재구성 문제의 불안정성 문제를 깊이 형태 사전과 이미지 기반 제약 조건을 통합함으로써 해결한다.
• 합성 데이터가 아닌 실질적인 이미지 실루엣을 사용함으로써 3D 재구성의 도메인 갭을 줄인다.
• 고성능 단일 시각 재구성에 엔드 투 엔드 딥 러닝이 반드시 필요한지 조사한다.
• 기하학적 일致성(실루엣 및 형태 사전)을 추론 시에 강제하는 투명하고 최적화 기반의 프레임워크를 개발한다.
• 딥 잠재 공간에서 학습된 GMM 사전이 실제 객체 유사한 해를 효과적으로 제약할 수 있는지 검증한다.

제안 방법

• 3D 형태 데이터셋에서 깊이 포인트 클러스터 오토에인코더를 훈련시켜 압축되고 분리된 잠재 표현을 학습한다.
• 오토에인코더의 잠재 코드를 혼합 정규분포 모델(GMM)로 모델링하여 잠재 공간 상의 확률적 형태 사전을 형성한다.
• 추론 시, 실루엣 오차를 최소화하고 GMM 가능도를 최대화하는 온라인 최적화 프레임워크를 통해 잠재 코드와 객체 자세를 동시에 최적화한다.
• 실제 이미지 실루엣은 사전 훈련된 세그멘테이션 네트워크(MSCOCO 기반 등)를 통해 확보하여 합성 데이터에서 발생하는 도메인 이격을 방지한다.
• 최적화 목표는 실루엣 일치성(L_sil)과 형태 사전 가능도(L_shape)를 조합하여, 강인하고 현실적인 재구성을 가능하게 한다.
• 초기화는 GMM 구성 요소의 평균 잠재 코드를 사용하여 사전 훈련된 이미지-형태 네트워크에 의존하지 않는다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 딥 네트워크에 의존하지 않는 최적화 기반 방법이 경쟁력 있는 3D 재구성 성능을 달성할 수 있는가?
• RQ2 학습된 GMM 기반 형태 사전이 재구성 품질을 향상시키고 노이즈가 많은 실루엣에 대한 과적합을 방지하는 데 어느 정도 기여하는가?
• RQ3 사용 가능한 세그멘테이션 모델에서 유도된 실질적 이미지 실루엣이 단일 시각 3D 재구성에서 합성 지도를 효과적으로 대체할 수 있는가?
• RQ4 실루엣 일치성과 형태 사전이 실제 이미지에 대한 명시적 훈련 없이 기하학적 타당성을 어떻게 강제하는가?
• RQ5 GMM 사전으로 정규화된 깊이 오토에인코더에 의해 학습된 잠재 공간이 의미 있는 분리된 객체 구조를 포괄하는가?

주요 결과

• 합성 데이터나 엔드 투 엔드 훈련 없이도 실사 이미지에서 최신 기술 수준의 성능을 달성하며, 여러 전용 딥 러닝 모델을 능가한다.
• Pix3D 벤치마크에서 의자 카테고리에서 찰닝 거리(CD) 0.116, 어스 모버즈 디스턴스(EMD) 0.125를 기록하여 DRC 및 MarrNet와 같은 기존 방법들을 능가한다.
• 제거 실험 결과, 실루엣 일치성만을 사용할 경우 과적합으로 인해 부자연스러운 형태가 생성되나, GMM 형태 사전을 추가하면 재구성 품질이 크게 향상됨을 확인했다.
• GMM 사전은 잠재 공간 내 비물리적 형태를 효과적으로 억제하며, 낮은 가능도 영역(그림 4의 파랑 영역)은 부자연스러운 형태 보간을 나타낸다.
• GMM 구성 요소의 평균 사이에서 잠재 공간 내 선형 보간을 수행하면 가능도가 낮아지며, 이는 사전이 구조적 타당성을 강제함을 확인한다.
• 노이즈가 있는 실루엣에 대해서도 강인하며, 실루엣 일치성과 형태 사전 가능도의 이중 제약 덕분에 높은 품질의 재구성을 유지한다.