[논문 리뷰] Canonical 3D Deformer Maps: Unifying parametric and non-parametric methods for dense weakly-supervised category reconstruction

David Novotný, Роман Шаповалов외 1명|arXiv (Cornell University)|2020. 08. 28.

Advanced Vision and Imaging참고 문헌 72인용 수 4

한 줄 요약

이 논문은 2D 이미지에서 희박한 2D 지도만으로도 밀도 높은, 약한 지도를 받는 카테고리 재구성에 대해 파arametric 및 비파라미터적 접근 방식을 통합하는 새로운 3D 형상 표현인 캐논리컬 3D 디포머 매핑(C3DM)을 소개한다. 픽셀당 캐논리컬 임bedding를 학습하여 변형 연산자와 연결함으로써 C3DM는 정확한 단일 시야 3D 재구성과 밀도 높은 대응 관계를 가능하게 하여, 얼굴, 새, 자동차에 대해 기존 최고 성능를 달성한다.

ABSTRACT

We propose the Canonical 3D Deformer Map, a new representation of the 3D shape of common object categories that can be learned from a collection of 2D images of independent objects. Our method builds in a novel way on concepts from parametric deformation models, non-parametric 3D reconstruction, and canonical embeddings, combining their individual advantages. In particular, it learns to associate each image pixel with a deformation model of the corresponding 3D object point which is canonical, i.e. intrinsic to the identity of the point and shared across objects of the category. The result is a method that, given only sparse 2D supervision at training time, can, at test time, reconstruct the 3D shape and texture of objects from single views, while establishing meaningful dense correspondences between object instances. It also achieves state-of-the-art results in dense 3D reconstruction on public in-the-wild datasets of faces, cars, and birds.

연구 동기 및 목표

• 3D 지도가 없는 단일 2D 이미지에서 객체 카테고리의 3D 형상을 재구성하는 문제를 해결하기 위해.
• 캐논리컬 임베딩을 도입하여 파라미터 기반 변형 모델과 비파라미터 기반 깊이 추정을 통합하여 밀도 높은 대응 관계를 유지하기 위해.
• 학습 중에 희박한 2D 지도만을 사용하여 밀도 높은 카테고리 수준의 3D 재구성을 가능하게 하기 위해.
• 기하학적 일관성을 유지하면서 단일 시야에서 현실적인 3D 형상과 텍스처 재구성을 달성하기 위해.

제안 방법

• C3DM는 각 이미지 픽셀 y에 대해 캐논리컬 임베딩 Φy(I) = κ를 학습하여 해당 3D 객체 점의 내재 좌표 κ로 매핑한다.
• 변형 연산자 Bκ(α)를 사용하여 3D 점 Xy를 캐논리컬 좌표 κ와 전역 변형 매개변수 α의 함수로 재구성한다.
• 비파라미터 기반 캐논리컬 매핑과 파라미터 기반 변형 모델을 결합함으로써 객체 인스턴스 간 공유 표현을 가능하게 한다.
• 신경망이 캐논리컬 좌표에서 변형 연산자로의 매핑을 학습하여 유연하고 미분 가능한 3D 재구성을 가능하게 한다.
• 재투영, 인지적, 임베딩 정렬, 마스크, 텍스처 손실을 포함하는 다중 구성 요소 손실을 사용하여 기하학적 및 외관 충실도를 확보한다.
• 캐논리컬 임베딩 Φy(IB)를 통해 소스 이미지 IA의 외관 기술자 β(IA)를 타겟 이미지 IB로 전달함으로써 텍스처 전달을 지원한다.

실험 결과

연구 질문

• RQ1 약한 지도 하에서 파라미터 기반 및 비파라미터 기반 3D 재구성의 장점을 통합할 수 있는 통합 표현을 학습할 수 있는가?
• RQ2 3D 지도가 없을 경우 객체 인스턴스 간에 밀도 높은 대응 관계를 어떻게 설정할 수 있는가?
• RQ3 캐논리컬 임베딩이 희박한 2D 지도만을 사용하여 단일 2D 이미지에서 정확한 3D 재구성을 가능하게 할 수 있는가?
• RQ4 C3DM는 다양한 동작과 외관을 가진 얼굴, 새, 자동차와 같은 다양한 객체 카테고리에 얼마나 잘 일반화되는가?

주요 결과

• C3DM는 얼굴, 새, 자동차에 대해 공개된 실외 데이터셋에서 밀도 높은 3D 재구성에서 최고 성능를 달성한다.
• 이론적 3D 재구성은 외부 요인과 분할 오류가 있는 상황에서도 정확한 기하학적 형상과 텍스처를 제공한다.
• 객체 인스턴스 간에 의미 있는 밀도 높은 대응 관계를 설정하여 자세와 외관의 변화에 관계없이 일관된 3D 형상 모델링을 가능하게 한다.
• qualitative 결과에서 확인된 바와 같이, 이 프레임워크는 인스턴스 수준의 변형에 대해 강건하며, 텍스처 전달 중에도 기하학적 일관성을 유지한다.
• 모든 평가된 카테고리에서 기존 최고 성능를 기록한 CMR 방법보다 C3DM가 3D 재구성 정확도와 시각적 현실감에서 뛰어나다.
• 캐논리컬 임베딩의 사용은 3D 기하학을 유지하면서 효과적인 외관 전달을 가능하게 하여, 텍스처 전달 실험에서 검증되었다.