[논문 리뷰] Im2Avatar: Colorful 3D Reconstruction from a Single Image

Yongbin Sun, Ziwei Liu외 2명|arXiv (Cornell University)|2018. 04. 17.

Advanced Vision and Imaging참고 문헌 20인용 수 31

한 줄 요약

이 논문은 단일 이미지에서 세밀하고 질감 있는 3D 오브제를 동시에 3D 형상과 표면 색상을 공동으로 학습함으로써 세부 정보가 풍부한 3D 오브제를 복원하는 엔드 투 엔드 학습 가능한 프레임워크인 Colorful Voxel Network(CVN)을 제안한다. 이는 재구성된 색상 볼륨과 유사한 흐름 기반 색상 볼륨을 통합하는 새로운 혼합 기법을 도입하여, 외관 유추와 기하적 투영을 결합함으로써 다양한 카테고리와 시점에서 최신 기술 수준의 시각적 품질과 일반화 성능을 달성한다.

ABSTRACT

Existing works on single-image 3D reconstruction mainly focus on shape recovery. In this work, we study a new problem, that is, simultaneously recovering 3D shape and surface color from a single image, namely "colorful 3D reconstruction". This problem is both challenging and intriguing because the ability to infer textured 3D model from a single image is at the core of visual understanding. Here, we propose an end-to-end trainable framework, Colorful Voxel Network (CVN), to tackle this problem. Conditioned on a single 2D input, CVN learns to decompose shape and surface color information of a 3D object into a 3D shape branch and a surface color branch, respectively. Specifically, for the shape recovery, we generate a shape volume with the state of its voxels indicating occupancy. For the surface color recovery, we combine the strength of appearance hallucination and geometric projection by concurrently learning a regressed color volume and a 2D-to-3D flow volume, which are then fused into a blended color volume. The final textured 3D model is obtained by sampling color from the blended color volume at the positions of occupied voxels in the shape volume. To handle the severe sparse volume representations, a novel loss function, Mean Squared False Cross-Entropy Loss (MSFCEL), is designed. Extensive experiments demonstrate that our approach achieves significant improvement over baselines, and shows great generalization across diverse object categories and arbitrary viewpoints.

연구 동기 및 목표

• 기존 연구에서 다루지 않은 바와 같이 단일 이미지에서 3D 형상과 표면 색상을 동시에 복원하는 문제에 대응하기 위해.
• 희박한 부피 표현을 다룰 수 있도록 형상 점유율과 표면 색상을 공동 최적화하는 엔드 투 엔드 학습 가능한 프레임워크를 개발하기 위해.
• 통합된 색상 학습 메커니즘을 통해 외관 유추와 기하적 투영을 결합하여 시각적 사실성과 일반화 능력을 향상시키기 위해.
• 빠른 3D 프로토타이핑 및 몰입형 VR/AR 경험을 위한 실용적 응용 분야인 'Im2Avatar'를 가능하게 하기 위해.

제안 방법

• 형상과 색상 학습을 위한 두 개의 독립적인 인코딩-디코딩 네트워크를 사용하며, 공유된 특징 추출과 별도의 헤드를 갖춘다.
• 형상 복원은 3D 점유 볼륨으로 모델링되며, 희박성 문제를 해결하고 해상도를 향상시키기 위해 새로운 평균 제곱 거짓 교차 엔트로피 손실(MSFCEL)을 사용하여 최적화된다.
• 색상 학습은 재구성된 색상 볼륨과 2D에서 3D로의 흐름 기반 볼륨을 사용하며, 이들이 융합되어 중복을 줄이고 현실감을 향상시키는 혼합 색상 볼륨을 형성한다.
• 색상 샘플링은 점유된 볼록체 위치에서만 수행되며, 훈련 손실은 비어 있는 볼록체를 배제하고 표면 색상 볼록체에서만 계산된다.
• 혼합 메커니즘은 학습된 가중치를 사용해 유추된 색상과 투영된 색상을 적응적으로 조합함으로써, 가림과 복잡한 질감에 대한 강건성을 향상시킨다.
• 형상, 색상 회귀, 흐름, 혼합, MSFCEL 항목을 포함하는 복합 손실을 사용해 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 딥 러닝 프레임워크가 단일 이미지에서 높은 시각적 품질로 3D 형상과 표면 색상을 동시에 복원할 수 있는가?
• RQ2 희박한 부피 표현 환경에서 외관 유추와 기하적 투영을 효과적으로 통합하여 색상 복원 성능을 향상시킬 수 있는가?
• RQ3 제안된 혼합 메커니즘이 다양한 오브제 카테고리와 시점에서 색상의 현실감과 일반화 능력을 어느 정도 향상시키는가?
• RQ4 새로운 MSFCEL 손실이 희박한 볼록체 설정에서 기존의 교차 엔트로피 손실에 비해 형상 복원 성능을 어떻게 향상시키는가?

주요 결과

• 제안된 CVN 프레임워크는 3D 복원에서 뛰어난 시각적 품질을 달성하였으며, 사용자 연구 결과 기준 모델(색상 회귀 및 흐름 전용 모델)보다 유의미하게 선호됨을 확인하였다.
• CAD 모델과 관절이 있는 인간 형상 등 다양한 오브제 카테고리에 대해 우수한 일반화 성능를 보이며, 다양한 시점에서도 일관된 성능을 유지한다.
• ShapeNet 자동차 카테고리에서 형상 복원의 평균 교차율(IoU)은 0.395를 기록하였으며, 통합 네트워크 버전(0.386)보다 뛰어난 성능을 보였다.
• 풍부한 질감을 지닌 복잡한 인간 모델에서도 높은 성능를 유지하여 색상 복잡성과 가림 현상에 대한 강건성을 입증하였다.
• 시점의 영향은 미미하며, 측면 시점에서 앞/뒷면 시점보다 더 나은 형상 복원 성능를 보였는데, 이는 대칭성과 세부 정보를 더 잘 포착하기 때문이다.
• 색상 복잡성이 약 40개의 서로 다른 색상 클러스터를 초과할 경우 성능 저하가 발생함을 확인하여, 극도로 높은 색상 복잡도를 처리하는 데에는 한계가 있음을 시사한다.