[논문 리뷰] Pix3D: Dataset and Methods for Single-Image 3D Shape Modeling

Xingyuan Sun, Jiajun Wu외 6명|arXiv (Cornell University)|2018. 04. 12.

3D Shape Modeling and Analysis참고 문헌 60인용 수 53

한 줄 요약

Pix3D는 정확한 2D-3D 정합성을 가진 대규모 실사진 데이터셋을 제공하고 결합된 모양-자세 모델을 도입합니다; 재구성, 검색, 자세 추정 벤치마크를 수행합니다.

ABSTRACT

We study 3D shape modeling from a single image and make contributions to it in three aspects. First, we present Pix3D, a large-scale benchmark of diverse image-shape pairs with pixel-level 2D-3D alignment. Pix3D has wide applications in shape-related tasks including reconstruction, retrieval, viewpoint estimation, etc. Building such a large-scale dataset, however, is highly challenging; existing datasets either contain only synthetic data, or lack precise alignment between 2D images and 3D shapes, or only have a small number of images. Second, we calibrate the evaluation criteria for 3D shape reconstruction through behavioral studies, and use them to objectively and systematically benchmark cutting-edge reconstruction algorithms on Pix3D. Third, we design a novel model that simultaneously performs 3D reconstruction and pose estimation; our multi-task learning approach achieves state-of-the-art performance on both tasks.

연구 동기 및 목표

• 실제 이미지와 정확한 3D 형태 및 정밀한 2D-3D 정합성을 갖춘 데이터셋을 대규모로 생성한다.
• 3D 재구성에 대한 평가 지표를 인간 지각과 대조해 보정한다.
• Pix3D에서 최첨단 3D 재구성, 자세 추정, 형태 검색 방법을 벤치마크한다.
• 단일 이미지에서 3D 형태와 카메라 자세를 공동으로 추정하는 다중 작업 모델을 제안하고 검증한다.

제안 방법

• IKEA 기반 형태와 추가 물체의 실제 이미지 및 3D 스캔을 결합해 395개의 형태와 10,069개의 이미지를 얻도록 Pix3D를 구성한다.
• 효율적인 PnP를 통해 해결되고 Levenberg–Marquardt로 다듬은 핵심점 기반 자세 추정을 사용하여 2D 이미지에 3D 형태를 정렬하고, 노이즈가 있는 핵심점에 대한 강건성 측정을 포함한다.
• 인간 판단에 맞춰 IoU, Chamfer Distance (CD), Earth Mover’s Distance (EMD)를 보정해 지각적 유사성을 반영한다.
• 재구성, 자세 추정, 검색 작업 전반에서 Pix3D의 기존 3D 재구성 방법들(예: 3D-R2N2, DRC, 3D-VAE-GAN)을 벤치마크한다.
• RGB 이미지에서 2.5D 스케치를 예측하고 이를 인코딩한 다음 3D 형태와 카메라 자세를 디코딩하는 다중 작업 모델을 개발하고 자세 추정 가지로 학습한다.

실험 결과

연구 질문

• RQ1 현재의 3D 재구성 방법들이 정밀한 2D-3D 정합성을 가진 실제 이미지에서 얼마나 잘 작동하는가?
• RQ2 단일 이미지에서 객체의 3D 형태와 카메라 자세를 공동으로 추정하는 단일 모델이 가능한가?
• RQ3 실제 이미지에서 3D 재구성 품질에 대해 인간 지각을 가장 잘 반영하는 평가 지표는 무엇인가?
• RQ4 다중 작업 학습이 형태 재구성과 자세 추정 모두의 성능을 향상시키는가?

주요 결과

• Pix3D는 9개 카테고리를 포괄하는 픽셀 수준의 2D-3D 정합성으로 395개의 3D 형태와 10,069개의 이미지를 포함한다.
• Pix3D는 의자와 소파의 IoU에서 PASCAL 3D+와 ObjectNet3D보다 높고 IKEA와의 IoU와 비슷한 수준을 보인다(의자 IoU: PASCAL 0.514, ObjectNet3D 0.570, IKEA 0.748, Pix3D 0.835; 소파 IoU: PASCAL 3D+ 0.813, ObjectNet3D 0.773, IKEA 0.918, Pix3D 0.926).
• 인간 판단은 3D 재구성 품질에 대해 CD와 EMD와 더 잘 상관되며 IoU보다 높은 상관관계를 보인다. 인간 판단과의 스피어만 상관계수는 IoU vs 인간 0.32, EMD vs 인간 0.43, CD vs 인간 0.49이다.
• 2.5D 스케치를 예측하고 이를 인코딩한 뒤 3D 형태와 카메라 자세를 디코딩하는 새로운 다중 작업 모델은 Pix3D에서 재구성, 형태 검색 및 자세 추정에서 최첨단 성능을 달성한다.
• 공동 자세 추정은 일부 설정에서 형태 검색을 개선하지만, 비슷한 자세이지만 서로 다른 형태를 검색할 때 포즈 가지가 검색을 다소 감소시킬 수 있다.