[논문 리뷰] Learning Efficient Point Cloud Generation for Dense 3D Object Reconstruction

Chen-Hsuan Lin, Chen Kong외 1명|arXiv (Cornell University)|2017. 06. 21.

3D Shape Modeling and Analysis인용 수 168

한 줄 요약

논문은 pseudo-renderer와 다-view joint 최적화를 사용하여 객체 표면에 대한 밀집 3D 점 구름을 생성하기 위한 2D 컨볼루션 프레임워크를 제안한다. 전통적인 3D ConvNets 대신에.

ABSTRACT

Conventional methods of 3D object generative modeling learn volumetric predictions using deep networks with 3D convolutional operations, which are direct analogies to classical 2D ones. However, these methods are computationally wasteful in attempt to predict 3D shapes, where information is rich only on the surfaces. In this paper, we propose a novel 3D generative modeling framework to efficiently generate object shapes in the form of dense point clouds. We use 2D convolutional operations to predict the 3D structure from multiple viewpoints and jointly apply geometric reasoning with 2D projection optimization. We introduce the pseudo-renderer, a differentiable module to approximate the true rendering operation, to synthesize novel depth maps for optimization. Experimental results for single-image 3D object reconstruction tasks show that we outperforms state-of-the-art methods in terms of shape similarity and prediction density.

연구 동기 및 목표

• 표면 밀집 표현에 집중하여 체적 부피(voxels)를 넘어서는 효율적인 3D 형상 생성을 동기화한다.
• 여러 시점으로부터 3D 점을 예측하기 위한 2D 컨볼루션 구조 생성기를 개발한다.
• 새로운 시점에서 깊이 맵 기반 감독을 가능하게 하는 차분 가능(미분 가능) pseudo-renderer를 도입한다.
• 단일 이미지 3D 재구성 작업에서 더 높은 형상 정확도와 표면 밀도를 시연한다.

제안 방법

• 입력 데이터로부터 잠재 표현을 생성하기 위해 잠재 인코더를 사용한다.
• N개의 시점에서 (x, y, z, mask)를 픽셀당 생성하는 2D 컨볼루션 구조 생성기로 3D 구조를 예측한다.
• 예측된 점을 알려진 시점 회전 및 내부 파라미터를 사용하여 정규화된(캐노니컬) 3D 좌표로 변환한다.
• 새로운 시점에서 깊이 이미지를 합성하기 위해 projection 공간을 업샘플링하고 역 깊이에 최대 풀링을 적용하여 pseudo-renderer를 도입한다.
• 다수의 새로운 시점에서 마스크 손실과 깊이 손실로 구성된 2D 프로젝션 공동 손실로 학습한다(L = L_mask + lambda * L_depth).
• 구조 생성기를 깊이 이미지 예측으로 먼저 사전 학습한 다음 공동 2D 프로젝션 최적화로 엔드-투-엔드로 미세 조정한다.

실험 결과

연구 질문

• RQ1 2D ConvNets에서 생성된 밀집 점 구름이 단일 이미지 3D 재구성에서 체적/점 기반 기준선과 일치하거나 능가할 수 있는가?
• RQ2 미분 가능 pseudo-renderer를 통한 새로운 시점 투영의 공동 최적화가 표면 충실도와 밀도를 향상시키는가?
• RQ3 3D 기하학 및 원근 투영의 명시적 요인화가 암시적 3D 부피 학습과 비교하여 재구성 품질에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 최첨단 3D 예측 메서드보다 더 밀집하고 정확한 형상을 산출한다.
• 단일 카테고리 의자 재구성에서 방법은 두 방향 모두에서 모든 기준선보다 더 낮은 평균 3D 거리(Pred→GT 및 GT→Pred)를 달성한다.
• 13개 ShapeNet 카테고리 전반에서 본 방법은 카테고리별 3D 오차가 3D-R2N2 기준선보다 낮고 단일 뷰 예측에서 Fan 등 연구를 종종 능가한다.
• 정성적 결과는 체적 기준선에 비해 더 밀집한 점 구름과 더 높은 표면 충실도를 보인다.
• 잠재 공간 조작은 매끄러운 보간과 의미론적으로 의미 있는 형상 변화를 생성하며(의자, 탁자), 해석 가능한 생성 구조를 나타낸다.