[논문 리뷰] 3D-GMNet: Single-View 3D Shape Recovery as A Gaussian Mixture

Kohei Yamashita, Shohei Nobuhara외 1명|arXiv (Cornell University)|2019. 12. 10.

Advanced Vision and Imaging참고 문헌 38인용 수 4

한 줄 요약

3D-GMNet는 3D 가우시안 혼합 모델을 학습 가능한 방식으로 사용하여 단일 뷰 3D 형상 복원을 위한 딥러닝 프레임워크를 제안한다. 이는 즉각적인 자세 추정과 제어 가능한 수준의 세밀함을 갖춘 압축되고 분석적인 형상 표현을 가능하게 한다. 3D 가우시안 혼합 손실과 2D 다중 뷰 일致성 손실을 통해 엔드 투 엔드 훈련을 실현하며, 복셀, 포인트 클라우드, 메쉬 기반 기준선들보다 복원 정밀도와 효율성에서 뛰어난 성능을 달성한다.

ABSTRACT

In this paper, we introduce 3D-GMNet, a deep neural network for 3D object shape reconstruction from a single image. As the name suggests, 3D-GMNet recovers 3D shape as a Gaussian mixture. In contrast to voxels, point clouds, or meshes, a Gaussian mixture representation provides an analytical expression with a small memory footprint while accurately representing the target 3D shape. At the same time, it offers a number of additional advantages including instant pose estimation and controllable level-of-detail reconstruction, while also enabling interpretation as a point cloud, volume, and a mesh model. We train 3D-GMNet end-to-end with single input images and corresponding 3D models by introducing two novel loss functions, a 3D Gaussian mixture loss and a 2D multi-view loss, which collectively enable accurate shape reconstruction as kernel density estimation. We thoroughly evaluate the effectiveness of 3D-GMNet with synthetic and real images of objects. The results show accurate reconstruction with a compact representation that also realizes novel applications of single-image 3D reconstruction.

연구 동기 및 목표

• 단일 이미지에서 압축적이고 분석적인 3D 표현을 학습하여 단일 뷰 3D 형상 복원의 불안정한 성격을 해결한다.
• 복셀 격자(고메모리), 포인트 클라우드(위치 정보 부족), 메쉬(위치 고정성) 등의 전통적 표현 방식의 한계를 극복하기 위해 기울기 가능 가우시안 혼합 모델을 도입한다.
• 가우시안 혼합의 기하학적 성질을 바탕으로 즉각적인 자세 추정과 제어 가능한 수준의 세밀함 복원과 같은 새로운 기능을 가능하게 한다.
• 신규로 제안된 3D 가우시안 혼합 손실과 2D 다중 뷰 일치성 손실을 사용하여 네트워크를 엔드 투 엔드로 훈련시켜 진짜 3D 형상과의 일치성 및 다중 뷰 일관성을 보장한다.
• 실제 이미지와 같은 합성 및 실제 세계 이미지에 대해 일반화 능력을 입증하며, 최소한의 파rameter로 높은 복원 정확도를 유지한다.

제안 방법

• 3D-GMNet는 컨볼루션 신경망을 사용하여 단일 입력 이미지에서 3D 가우시안 혼합 모델의 매개변수(평균, 공분산, 가중치)를 추정한다.
• 예측된 3D 가우시안 혼합과 진짜 값 간의 차이를 측정하는 3D 가우시안 혼합 손실을 사용하여 정확한 형상 복원을 촉진한다.
• 예측된 3D 가우시안 혼합에서 렌더링된 2D 이미지와 진짜 이미지 관측치를 비교하여, 여러 뷰 간의 일관성을 강제하기 위해 2D 다중 뷰 손실을 도입한다.
• 가우시안 혼합 표현은 포인트 클라우드로의 효율적 샘플링, 커널 밀도 추정을 통한 볼륨 렌더링, 등치면 표면 추출을 통해 다중 모드 기하학적 해석을 가능하게 한다.
• 네트워크는 카메라 중심 좌표계에서 작동하여, 서로 다른 뷰 간의 공분산 행렬을 정렬함으로써 직접 자세 추정이 가능하다.
• 레벨 오브 디테일 제어는 가우시안 혼합 감소(예: Runnalls 알고리즘)를 통해 달성되며, 재학습 없이도 동적 단순화가 가능하다.

실험 결과

연구 질문

• RQ1 학습 가능한 3D 가우시안 혼합 표현은 단일 이미지에서 정확하고 압축된 3D 형상 복원을 달성할 수 있는가?
• RQ2 제안된 3D 가우시안 혼합 손실과 2D 다중 뷰 손실은 단일 뷰 3D 복원을 위한 효과적인 엔드 투 엔드 훈련을 가능하게 하는가?
• RQ3 가우시안 혼합 표현은 자세 추정 및 제어 가능한 수준의 세밀함 복원과 같은 새로운 응용을 지원할 수 있는가?
• RQ4 3D-GMNet의 성능은 복원 정확도와 메모리 효율성 측면에서 최신 기술과 비교해 어떻게 되는가?
• RQ5 메모리나 카테고리에 대한 명시적 지도 없이도 실세계 이미지에 일반화 가능한가?

주요 결과

• 3D-GMNet는 복셀, 포인트 클라우드, 메쉬 기반 기준선들보다도 뛰어난 정확도를 기록하며, 합성 및 실제 이미지(예: Pix3D 데이터셋 포함)에서 최신 기술과 경쟁 가능한 복원 정확도를 달성한다. 이는 압축된 가우시안 혼합 표현을 사용함에도 불구하고 가능하다.
• 카메라 좌표계에서 가우시안 성분의 공분산 행렬을 정렬함으로써, 동일한 물체의 두 이미지 간 정확한 3D 자세 추정이 가능하다.
• 가우시안 성분 수를 512개에서 16개로 감소시켜도 정확도 손실가 최소한으로 유지되며, 이는 표현의 유연성을 입증한다.
• 3D 가우시안 혼합 표현은 포인트 클라우드, 볼륨, 표면 메쉬 등 다양한 기하학적 해석을 하나의 분석 모델에서 유도할 수 있다.
• 축에 수직이 아닌 구조를 가진 물체를 복원할 때, 축에 수직인 가우시안 기반 접근법(예: Genova 등)보다 3D 전체 공분산 행렬을 사용함으로써 더 우수한 성능을 보인다.
• 2D 다중 뷰 손실은 특히 실세계 이미지에서 일반화 능력과 다중 뷰 일관성을 크게 향상시키며, 뷰 간 광학적 일치를 강제함으로써 효과를 발휘한다.