[논문 리뷰] Learning Category-Specific Mesh Reconstruction from Image Collections

Angjoo Kanazawa, Shubham Tulsiani외 2명|arXiv (Cornell University)|2018. 03. 20.

3D Shape Modeling and Analysis참고 문헌 28인용 수 28

한 줄 요약

이 논문은 단일 이미지에서 3D 텍스처 메쉬 재구성을 예측하는 딥러닝 프레임워크를 제안한다. 이는 3D 지도 데이터나 다중 시점 감독 없이도, 단지 애너테이션된 이미지 컬렉션만을 사용한다. 카테고리별로 특화된 변형 가능한 메쉬를 활용하며, 학습된 평균 형태와 개체별 변형을 통해 형태, 카메라 자세, 텍스처를 엔드 투 엔드로 예측할 수 있다. CUB 및 PASCAL3D+에서 최신 기술 수준의 성능을 달성하며, 새로운 시점과 의미적 관점 키포인트 정렬에 대해 강력한 일반화 성능을 보인다.

ABSTRACT

We present a learning framework for recovering the 3D shape, camera, and texture of an object from a single image. The shape is represented as a deformable 3D mesh model of an object category where a shape is parameterized by a learned mean shape and per-instance predicted deformation. Our approach allows leveraging an annotated image collection for training, where the deformable model and the 3D prediction mechanism are learned without relying on ground-truth 3D or multi-view supervision. Our representation enables us to go beyond existing 3D prediction approaches by incorporating texture inference as prediction of an image in a canonical appearance space. Additionally, we show that semantic keypoints can be easily associated with the predicted shapes. We present qualitative and quantitative results of our approach on CUB and PASCAL3D datasets and show that we can learn to predict diverse shapes and textures across objects using only annotated image collections. The project website can be found at https://akanazawa.github.io/cmr/.

연구 동기 및 목표

• 3D 지도 데이터나 다중 시점 감독 없이 단일 이미지에서 3D 형태 재구성 학습의 과제를 해결하라.
• 단일 애너테이션되지 않은 테스트 이미지에서 3D 메쉬 형태, 카메라 자세, 텍스처를 엔드 투 엔드로 예측할 수 있도록 하라.
• 애너테이션된 이미지 컬렉션(배경 제거 마스크 및 의미적 키포인트)만을 사용해 강력하고 카테고리별로 특화된 3D 생성 모델을 훈련하라.
• 일관된 외관 공간에서 텍스처 예측을 지원하고 의미적 키포인트 연관성을 가능하게 하는 통합된 3D 표현 방식을 도입하라.
• 기존의 피팅 기반 방법의 한계를 극복하기 위해 반복 최적화를 학습된 효율적인 예측 네트워크로 대체하라.

제안 방법

• 카테고리별 평균 형태와 개체별 변형 벡터로 학습된 딥 네트워크를 통해 파arameterized된 캐논리컬 공간 내의 변형 가능한 메쉬로 3D 형태를 표현하라.
• 2D 애너테이션(마스크 및 키포인트)만을 사용해 단일 이미지에서 변형 매개변수, 카메라 자세, 텍스처 좌표를 직접 예측하는 컨볼루션 신경망을 훈련하라.
• 캐논리컬 텍스처 공간을 사용해 픽셀 단위의 텍스처 값을 예측함으로써 다양한 개체 간 일관된 외관 모델링을 가능하게 하라.
• 다양한 기반 렌더링을 통해 캐논리컬 메쉬를 이미지 좌표로 투영하는 카메라 매개변수를 회귀함으로써 기하학적 일관성을 강제하라.
• 마스크 재투영, 키포인트 감독, 3D 형태 재구성 손실을 조합한 다중 작업 손실을 사용해 엔드 투 엔드로 최적화된 모델을 훈련하라.
• 3D 메쉬를 2D 이미지 공간으로 투영하는 가시성 렌더링 레이어를 통합하여 형태 및 텍스처 예측을 감독하라.

실험 결과

연구 질문

• RQ1 애너테이션된 이미지 컬렉션만을 사용해 3D 텍스처 메쉬 재구성을 단일 이미지에서 예측할 수 있는가? 이때 3D 감독은 전혀 필요하지 않다.
• RQ2 2D 애너테이션만으로 훈련된 카테고리별로 특화된 변형 가능한 메쉬 모델이 새로운 개체와 시점에 대해 얼마나 잘 일반화되는가?
• RQ3 3D 지도 텍스처나 다중 시점 이미지 없이도 캐논리컬 공간에서 효과적으로 텍스처를 예측하고 렌더링할 수 있는가?
• RQ4 유사한 약한 감독 설정 하에서 기존의 피팅 기반 또는 볼륨 기반 예측 방법에 비해 제안된 방법이 얼마나 뛰어나게 성능을 내는가?
• RQ5 제안된 변형 기반 표현 방식을 통해 의미적 키포인트를 예측된 3D 형태와 신뢰성 있게 연관시킬 수 있는가?

주요 결과

• CUB 데이터셋에서 항공기 카테고리에 대해 마스크 재투영 IoU가 0.46, 자동차 카테고리에 대해 0.64를 기록하며, DRC 및 CSDM과 같은 이전 방법들을 능가했다.
• PASCAL3D+에서 자동차 카테고리 재구성에 대해 평균 교차율(IoU)이 0.64를 기록했으며, 유사한 감독 조건을 사용한 이전 방법들과 비교해 유사하거나 더 우수한 성능을 보였다.
• 평균 형태 기반 베이스라인 대비 PCK(정확한 키포인트 비율)가 1% 향상되어, 정규화 거리 임계값 0.1에서 0.81을 달성했다.
• 예측된 3D 형태는 새로운 시점에 대해 잘 일반화되어 있음을 시각화를 통해 입증했으며, 새로운 각도에서 일관된 형태와 텍스처를 유지했다.
• 제한된 감독 조건에도 불구하고, 다양한 객체 카테고리에 대해 텍스처를 성공적으로 예측했지만, 반사성 영역(예: 자동차)이나 데이터가 적은 카테고리(예: 항공기)에서는 오류가 발생했다.
• 프레임워크는 단일 순환에서 형태, 카메라, 텍스처를 함께 예측할 수 있었으며, 반복적 피팅 방법 대비 효율적인 추론을 보였다.