[논문 리뷰] Probabilistic Reconstruction Networks for 3D Shape Inference from a Single Image

Roman Klokov, Jakob Verbeek외 1명|arXiv (Cornell University)|2019. 08. 20.

3D Shape Modeling and Analysis참고 문헌 47인용 수 4

한 줄 요약

이 논문은 잠재변수 모델을 사용하여 단일 이미지에서 3D 모양을 추론하기 위한 원리적인 확률적 프레임워크인 확률적 재구성 네트워크(Probabilistic Reconstruction Networks, PRN)를 소개한다. 형태 표현과 추론을 분리하고 조건부 처리, 학습 제도, 확률적 성격을 체계적으로 분석함으로써, PRN는 오직 복셀 그리드만을 사용하여 ShapeNet에서 최고 성능을 달성한다. 이는 점군 및 메쉬 기반 방법을 능가하는 IoU 및 EMD 지표를 확보한다.

ABSTRACT

We study end-to-end learning strategies for 3D shape inference from images, in particular from a single image. Several approaches in this direction have been investigated that explore different shape representations and suitable learning architectures. We focus instead on the underlying probabilistic mechanisms involved and contribute a more principled probabilistic inference-based reconstruction framework, which we coin Probabilistic Reconstruction Networks. This framework expresses image conditioned 3D shape inference through a family of latent variable models, and naturally decouples the choice of shape representations from the inference itself. Moreover, it suggests different options for the image conditioning and allows training in two regimes, using either Monte Carlo or variational approximation of the marginal likelihood. Using our Probabilistic Reconstruction Networks we obtain single image 3D reconstruction results that set a new state of the art on the ShapeNet dataset in terms of the intersection over union and earth mover's distance evaluation metrics. Interestingly, we obtain these results using a basic voxel grid representation, improving over recent work based on finer point cloud or mesh based representations.

연구 동기 및 목표

• 단일 이미지 3D 재구성에서 체계적인 비교가 부족한 문제를 해결하기 위해 형태 표현, 조건부 처리, 추론 메커니즘을 분리한다.
• 기존 방법들이 형태 표현, 네트워크 아키텍처, 손실 함수, 확률적 공식화를 혼동하는 데서 비롯하는 한계를 극복한다.
• 3D 모양 재구성에서 설계 선택의 공정하고 체계적인 평가를 가능하게 하는 통합된, 확률론적으로 원리적인 프레임워크를 개발한다.
• 보다 기본적인 복셀 그리드 표현을 사용하여 ShapeNet 벤치마크에서 최고 성능을 달성함으로써, 높은 정확도를 위해 더 정교한 표현(예: 점군, 메쉬)이 필수적이라는 가정을 도전한다.

제안 방법

• 이미지 조건부 형태 생성을 $p(\mathbf{v}|\mathbf{z})p(\mathbf{z}|\mathbf{i})$로 모델링하는 잠재변수 모델로 3D 모양 재구성을 공식화함으로써, 이미지 조건부 처리와 형태 표현을 분리한다.
• FiLM 레이어를 사용하여 이미지 조건부 처리를 구현함으로써, 2D 이미지와 3D 복셀 표현 간의 융통성 있고 학습 가능한 조건부 처리를 가능하게 한다.
• 모델을 두 가지 학습 제도로 훈련한다: 근사된 주변 확률을 위한 몬테카를로 샘플링과 인식 네트워크 $q_\psi(\mathbf{z}|\mathbf{i}, \mathbf{v})$를 사용한 변분 추론.
• 잠재변수 $\mathbf{z}$를 제거하여 결정론적 변형을 탐색함으로써, 잠재 공간의 확률적 성격이 재구성 품질에 미치는 영향을 평가한다.
• 동일한 잠재 공간을 공유하는 생성형 형태 모델과의 동시 학습을 탐색하여 분리도 및 일반화 능력을 향상시킨다.
• Chamfer나 EMD 지표를 직접 최적화하지 않고도 복셀 점유율에 대한 이진 교차 엔트로피 손실을 주요 최적화 목표로 사용한다.

실험 결과

연구 질문

• RQ1 이미지, 잠재 형태, 출력 형태 간의 종속성 구조 선택이 재구성 품질에 어떤 영향을 미치는가?
• RQ2 3D 모양 재구성에서 주변 확률 근사를 위한 변분 추론이 몬테카를로 샘플링보다 성능이 뛰어나게 되는가?
• RQ3 잠재 변수의 확률적 성격을 제거할 경우 재구성 정확도와 실패 비율에 어떤 영향을 미치는가?
• RQ4 동일한 잠재 공간을 공유하는 생성형 형태 모델과의 동시 학습이 단일 이미지 3D 재구성 성능 향상에 기여하는가?
• RQ5 원리적인 확률적 프레임워크를 사용할 경우, 점군이나 메쉬와 같은 더 복잡한 표현보다 단순한 복셀 그리드 표현이 더 뛰어난 성능을 낼 수 있는가?

주요 결과

• 변분 추론 기반의 PRN 모델이 ShapeNet 데이터셋에서 최고 성능을 기록하여 평균 IoU 66.2, 중앙값 IoU 69.9를 달성하고, 새로운 SOTA를 수립한다.
• 변분 모델은 몬테카를로 학습과 비슷한 평균 성능를 보이지만, 실패한 재구성 수가 적고 더 세밀한 출력을 생성함으로써 더 우수한 성능를 보인다.
• PRN 모델의 결정론적 변형은 두 확률적 변형보다 성능이 열 劣하므로, 잠재 공간의 확률적 성격이 복원의 정확도와 강건성을 향상시킨다는 것을 시사한다.
• 기본적인 복셀 그리드 표현만을 사용함에도 불구하고, PRN는 점군 및 메쉬 기반 최근의 방법들을 IoU 및 EMD 지표에서 모두 능가한다.
• 변분 추론로 학습된 모델이 가장 정확한 재구성을 도출하며, IoU가 70 이상인 상위 박스에 속한 형태의 수가 가장 많아, 분포 추정에서의 우월성을 확인한다.
• PRN 프레임워크를 통해 설계 선택의 체계적 분석이 가능해졌으며, 이미지 조건부 처리와 학습 제도가 형태 표현 선택보다 성능에 더 큰 영향을 미친다는 것이 드러났다.