[논문 리뷰] Inferring Point Clouds from Single Monocular Images by Depth Intermediation

Wei Zeng, Sezer Karaoğlu외 1명|arXiv (Cornell University)|2018. 12. 04.

Advanced Vision and Imaging참고 문헌 44인용 수 11

한 줄 요약

이 논문은 깊이 맵을 먼저 추정한 다음 카메라 기하학을 제약 조건으로 사용하여 완전한 3D 포인트 클라우드를 복원하는 새로운 파이프라인을 제안한다. 이 방법은 ShapeNet과 Pix3D에서 최신 기술들을 능가하며, 예측된 깊이 맵과 생성된 포인트 클라우드 간의 정렬을 강제하는 3D-2D 보정 모듈을 통해 깊이 노이즈에 강건하고 실제 이미지로의 일반화 능력이 뛰어나다.

ABSTRACT

In this paper, we propose a pipeline to generate 3D point cloud of an object from a single-view RGB image. Most previous work predict the 3D point coordinates from single RGB images directly. We decompose this problem into depth estimation from single images and point cloud completion from partial point clouds. Our method sequentially predicts the depth maps from images and then infers the complete 3D object point clouds based on the predicted partial point clouds. We explicitly impose the camera model geometrical constraint in our pipeline and enforce the alignment of the generated point clouds and estimated depth maps. Experimental results for the single image 3D object reconstruction task show that the proposed method outperforms existing state-of-the-art methods. Both the qualitative and quantitative results demonstrate the generality and suitability of our method.

연구 동기 및 목표

• 단일 RGB 이미지에서 기하학적 정확도를 향상시켜 3D 단일 시야 재구성을 해결하고자 한다.
• 2D-3D 도메인 전이 과정에서 카메라 모델 기하학을 명시적으로 제약 조건으로 통합함으로써 훈련 데이터 품질에 대한 의존도를 줄이고자 한다.
• 3D 격자 기반 기저를 통해 부분 포인트 클라우드를 인코딩하고, 퍼짐 기반 디코더를 사용해 희소에서 밀도 있는 생성을 수행함으로써 포인트 클라우드 복원을 향상시키고자 한다.
• 자기 지율적인 3D-2D 보정 모듈을 통해 깊이 추정과 포인트 클라우드 생성을 동시에 최적화하고자 한다.
• 합성 데이터(ShapeNet)와 실제 이미지(PIX3D) 기반 벤치마크에서 최신 기술 성능을 달성하고, 다양한 카메라 파rameter를 가진 실제 환경 이미지로의 강력한 일반화 능력을 확보하고자 한다.

제안 방법

• 파이프라인은 먼저 깊이 중간 처리 모듈을 사용해 단일 RGB 이미지에서 깊이 맵을 예측한다.
• 예측된 깊이 맵은 카메라 기하학을 이용해 부분적인 3D 포인트 클라우드로 변환되며, 카메라 모델을 명시적으로 기하학적 제약 조건으로 강제한다.
• 부분적인 포인트 클라우드는 공간적 맥락을 유지하고 3D CNN 처리를 가능하게 하기 위해 3D 격자 기반 기저 점 집합으로 인코딩된다.
• 인코딩된 특징을 3D 컨volution 신경망이 처리한 후, 퍼짐 기반 디코더를 통해 완전하고 희소한 3D 포인트 클라우드가 생성된다.
• 3D-2D 보정 모듈은 2D 투영과 3D 감독을 사용해 생성된 완전한 포인트 클라우드와 예측된 깊이 맵 간의 정렬을 강제함으로써 깊이 모듈과 복원 모듈의 공동 최적화를 가능하게 한다.
• 이 방법은 합성 데이터인 ShapeNet과 실제 환경 데이터인 Pix3D 데이터셋에서 훈련 및 평가되며, 노이즈에 대한 강건성과 카메라 모델 민감도에 대한 분석도 포함된다.

실험 결과

연구 질문

• RQ1 카메라 기하학을 명시적인 제약 조건으로 사용할 경우, 단일 RGB 이미지에서의 3D 재구성 품질이 향상되는가?
• RQ2 직접 3D 형태 예측과 비교했을 때, 깊이 중간 처리 방식은 재구성 정확도와 강건성 측면에서 어떤가?
• RQ3 3D-2D 보정 모듈은 깊이 추정 오차를 어느 정도 줄이고 포인트 클라우드의 정밀도를 향상시키는가?
• RQ4 합성 데이터로 훈련된 모델이 다양한 카메라 파rameter를 가진 실제 환경 이미지로의 일반화 능력은 어느 정도인가?
• RQ5 3D 격자 크기와 노이즈 강건성은 포인트 클라우드 복원 모듈의 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 ShapeNet 의자 서브셋에서 카메라 거리(CD)를 0.253으로 달성하여 기준 모델인 PSGN(0.645 CD)과 3D-2D 보정 모듈 제거 버전(0.485 CD)을 크게 능가한다.
• 동일한 벤치마크에서 교차율(IoU)은 0.702로 상승하였으며, 기준 모델인 PSGN의 0.544 및 3D-2D 보정 모듈 제거 버전의 0.626보다 높다.
• 3D-2D 보정 모듈은 깊이 노이즈에 강력한 강건성을 보이며, PSNR가 30dB 이하로 떨어지기 시작할 때만 성능 격차가 크게 증가함을 확인하여 현실적인 깊이 추정 오류에 대한 내성을 입증한다.
• 실제 환경 이미지로의 일반화 능력이 뛰어나며, 알려지지 않은 카메라 파rameter와 수동으로 생성된 마스크를 가진 실제 환경 이미지에서도 매끄럽고 세밀한 포인트 클라우드를 생성한다.
• 기본값에서 20% 이내의 초점 거리 편차에 대해서도 모델은 정상적인 재구성 품질을 유지하며, 잘못된 카메라 모델 가정 하에서도 강건성을 유지한다.
• 절단 분석 결과에서 3D 격자 기반 기저 크기를 16³에서 32³으로 증가시킬 경우 성능 향상이 관찰되었으며, 정확도와 효율성의 균형을 고려해 32³를 선택하였다.