[논문 리뷰] Self-supervised Single-view 3D Reconstruction via Semantic Consistency

Xueting Li, Sifei Liu외 5명|arXiv (Cornell University)|2020. 03. 13.

3D Shape Modeling and Analysis참고 문헌 51인용 수 7

한 줄 요약

이 논문은 3D 감독, 앵커키포인트 레이블, 다중 시점 데이터 또는 카테고리별 템플릿이 없는 2D 이미지와 실루엣만을 사용하여 3D 메시 형상, 텍스처 및 카메라 포즈를 예측하는 자기지도 학습 단일 시점 3D 재구성 방법을 제안한다. 자기지도 학습 기반의 의미적 파트 분할과 캐논리컬 UV 매핑을 통한 2D 파트와 3D 메시 파트 간 의미 일관성 강제 조건을 통해 카메라-형상 모호성을 감소시키며, 변형 가능한 물체와 강체 물체를 포함한 다양한 물체 카테고리에서 최신의 지도 학습 기반 방법과 비교할 만한 성능을 달성한다.

ABSTRACT

We learn a self-supervised, single-view 3D reconstruction model that predicts the 3D mesh shape, texture and camera pose of a target object with a collection of 2D images and silhouettes. The proposed method does not necessitate 3D supervision, manually annotated keypoints, multi-view images of an object or a prior 3D template. The key insight of our work is that objects can be represented as a collection of deformable parts, and each part is semantically coherent across different instances of the same category (e.g., wings on birds and wheels on cars). Therefore, by leveraging self-supervisedly learned part segmentation of a large collection of category-specific images, we can effectively enforce semantic consistency between the reconstructed meshes and the original images. This significantly reduces ambiguities during joint prediction of shape and camera pose of an object, along with texture. To the best of our knowledge, we are the first to try and solve the single-view reconstruction problem without a category-specific template mesh or semantic keypoints. Thus our model can easily generalize to various object categories without such labels, e.g., horses, penguins, etc. Through a variety of experiments on several categories of deformable and rigid objects, we demonstrate that our unsupervised method performs comparably if not better than existing category-specific reconstruction methods learned with supervision.

연구 동기 및 목표

• 3D 감독, 앵커키포인트 레이블, 다중 시점 데이터에 의존하지 않도록 하여 단일 시점 3D 재구성의 불완전한 성질을 해결한다.
• 2D 이미지 파트와 3D 메시 파트 간 의미 일관성을 통해 3D 재구성에서의 카메라-형상 모호성을 감소시킨다.
• 예를 들어 펭귄과 같이 잘 정의된 키포인트가 없는 물체 카테고리에 대해 제로샷 일반화를 가능하게 하기 위해, 사전 지식 없이 카테고리 수준의 형상 템플릿을 자체적으로 학습한다.
• 사전 형상 사전 지식 없이 반복 학습을 통해 개체 수준의 재구성과 카테고리 수준의 템플릿 메시를 공동 최적화한다.

제안 방법

• 동일한 물체 카테고리의 2D 이미지에서 의미적 파트를 식별하기 위해 자기지도 학습 공통 파트 분할(Scops)을 사용한다.
• 다양한 인스턴스의 정렬된 의미적 파트 예측에서 카테고리 수준의 캐논리컬 의미적 UV 매핑을 구성한다.
• 캐논리컬 UV 매핑에서 의미적 파트 레이블을 재구성된 3D 메시 표면에 투영하여 3D-2D 의미 일관성을 강제한다.
• 2D 파트 분할과 3D 메시 파트 레이블 간의 의미 일관성 손실을 부과하여 형상과 자세의 모호성을 해결한다.
• 기하학적 및 텍스처 정밀도를 향상시키기 위해 가분 렌더러와 적대적 손실을 사용하여 재구성 모델을 엔드 투 엔드로 훈련한다.
• 사전 정의된 3D 템플릿이 필요 없이 반복적으로 개체 특화 메시와 공유되는 카테고리 수준의 템플릿 메시를 개선한다.

실험 결과

연구 질문

• RQ1 3D 감독 없이 자기지도 학습 기반 의미 일관성으로 단일 시점 3D 재구성에서 카메라-형상 모호성을 줄일 수 있는가?
• RQ2 의미 일관성은 앵커키포인트나 템플릿이 없는 물체 카테고리로의 일반화에 얼마나 효과적인가?
• RQ3 2D 이미지와 실루엣만을 사용하여 카테고리 수준의 3D 템플릿을 처음부터 학습할 수 있는가?
• RQ4 의미 일관성과 적대적 훈련이 재구성 품질과 키포인트 전이 성능에 기여하는 정도는 어떠한가?

주요 결과

• 제안된 방법은 CUB-200-2011 데이터셋에서 APK(Average Precision for Keypoint Transfer) 25.0을 달성하여 지도 학습 기반 기준인 CSM 방법을 능가한다.
• 의미적 파트 분할의 마스크 IoU는 0.734에 도달하며, 의미 일관성 손실을 제거하면 0.6069로 감소하여 이 손실의 핵심적 역할을 입증한다.
• 모델은 자기지도 학습 기반의 SCOPS 파트 분할 모델을 향상시켜 재구성과 파트 학습 간 상호 이점이 있음을 시사한다.
• 절단 실험 결과, 확률 기반 및 정점 기반 의미 일관성 손실 모두 키포인트 전이 성능을 크게 향상시킨다.
• 키포인트가 잘 정의되지 않은 카테고리인 펭귄과 코끼리 등에도 잘 일반화되며, 카테고리별 사전 지식 없이 재구성된다.
• 적대적 훈련은 기하학적 및 텍스처 세부 정보를 향상시켜 새의 잘못된 사지 수와 같은 아티팩트를 감소시킨다.