[논문 리뷰] A Point Set Generation Network for 3D Object Reconstruction from a Single Image

Haoqiang Fan, Hao Su외 1명|arXiv (Cornell University)|2016. 12. 02.

3D Shape Modeling and Analysis참고 문헌 19인용 수 55

한 줄 요약

이 논문은 단일 이미지에서 3D 객체 재구성 문제를 해결하기 위해 조건부 생성 모델을 사용하는 새로운 점 집합 생성 네트워크(PSGN)를 제안한다. 이 모델은 여러 가능한 3D 점군을 예측함으로써 지도 데이터의 모호성과 비정규적인 점군 출력을 다룰 수 있도록 지구 이동 거리(EMD)를 미분 가능한 손실 함수로 사용한다. PSGN은 단일 이미지 3D 재구성 벤치마크에서 최신 기술 수준의 성능을 달성하며, 재구성 품질과 예측의 다양성 측면에서 이전 방법들을 능가한다.

ABSTRACT

Generation of 3D data by deep neural network has been attracting increasing attention in the research community. The majority of extant works resort to regular representations such as volumetric grids or collection of images; however, these representations obscure the natural invariance of 3D shapes under geometric transformations and also suffer from a number of other issues. In this paper we address the problem of 3D reconstruction from a single image, generating a straight-forward form of output -- point cloud coordinates. Along with this problem arises a unique and interesting issue, that the groundtruth shape for an input image may be ambiguous. Driven by this unorthodox output form and the inherent ambiguity in groundtruth, we design architecture, loss function and learning paradigm that are novel and effective. Our final solution is a conditional shape sampler, capable of predicting multiple plausible 3D point clouds from an input image. In experiments not only can our system outperform state-of-the-art methods on single image based 3d reconstruction benchmarks; but it also shows a strong performance for 3d shape completion and promising ability in making multiple plausible predictions.

연구 동기 및 목표

• 단일 2D 이미지에 대해 여러 가능한 3D 형태가 존재할 수 있는 3D 재구성 문제의 불완전성 문제를 해결하기 위해.
• 보통의 3D 표현 방식(예: 볼륨 격자나 메쉬)이 기하학적 불변성을 훼손하고 양자화 오류를 유발하는 한계를 극복하기 위해.
• 순서 없는 점군을 직접 출력하는 더 자연스럽고도 영리한 3D 표현 방식인 딥 생성 모델을 설계하기 위해.
• 지상 진술의 본질적인 모호성을 다루기 위해, 출력을 가능한 3D 형태들의 조건부 분포로 모델링하기 위해.

제안 방법

• 단일 이미지 입력에서 여러 가능한 3D 점군을 생성하는 조건부 형태 샘플러를 제안한다.
• 768개의 점을 위한 디컨볼루션 브랜치와 256개의 점을 위한 완전 연결 브랜치를 갖춘 딥 인코더-디코더 아키텍처를 사용한다.
• 예측된 점군 집합과 진짜 점군 집합 간의 거리를 측정하기 위해 지구 이동 거리(EMD)의 근사치를 미분 가능한 손실 함수로 사용한다.
• 점군을 볼륨형 점유 격자로 변환하기 위한 후처리 3D 컨볼루션 네트워크를 도입하여 재구성 품질을 향상시킨다.
• 192×256 해상도의 이미지에서 Adam 옵timizer를 사용하여 엔드 투 엔드로 모델을 훈련하며, 총 300,000단계의 훈련 스케줄을 적용한다.
• 다양한 크기의 객체 간 일반화를 향상시키기 위해 별도의 볼륨 예측 네트워크를 통합한다.

실험 결과

연구 질문

• RQ1 다양하고 고성능의 3D 점군을 단일 2D 이미지에서 효과적으로 생성할 수 있는가, 특히 여러 유효한 3D 형태가 존재할 경우에도 말이다?
• RQ2 점군 집합의 순열 불변성과 비정규적인 구조를 고려할 때, 어떻게 미분 가능한 손실 함수를 설계하여 점군 생성을 공정하게 평가할 수 있는가?
• RQ3 기본적인 L2나 Chamfer 거리 손실에 비해 EMD 기반 훈련이 일반화 능력과 다양성 향상에 얼마나 기여하는가?
• RQ4 단일 네트워크가 단일 이미지에서 불완전하거나 모호한 3D 형태를 여러 가능한 완성 형태로 학습하여 생성할 수 있는가?
• RQ5 모델은 가림이나 기하학적 단서가 부족한 상황에서 형태 완성 및 재구성 작업에서 어떻게 성능을 발휘하는가?

주요 결과

• EMD 손실을 사용해 훈련한 모델은 EMD 및 Chamfer 거리(CD) 지표에서 모두 뛰어난 성능을 보이며, 벤치마크 데이터셋에서 최신 기술 수준의 방법들을 능가한다.
• CD를 훈련 목표로 사용한 모델에 비해 EMD로 훈련한 네트워크는 더 균일하게 분포된 점군을 생성하며, EMD 값도 낮게 유지한다.
• 모호한 입력(예: 부분적으로 가려진 의자 또는 다각형이 아닌 물체)에 대해 EMD로 훈련한 모델은 인간 피험자보다 더 잘 일반화되며, 부족하거나 모호한 단서에 대해 더 잘 대처한다.
• 모델은 입력 이미지당 여러 가지 가능한 3D 재구성을 성공적으로 생성하여, 조건부 형태 샘플러로서의 능력을 입증한다.
• 학습된 3D 컨볼루션 네트워크와 볼륨 예측을 통한 후처리가 재구성 품질을 향상시키며, 전체 파이프라인은 3D-R2N2를 능가한다.
• 실패 사례는 새로운 객체 유형이나 다중 객체 시나리오에 대한 일반화 능력의 한계를 드러내며, 특히 주의 메커니즘 또는 탐지 기능이 없을 경우 더욱 두드러진다.