[논문 리뷰] DeepHuman: 3D Human Reconstruction from a Single Image

Zerong Zheng, Tao Yu외 3명|arXiv (Cornell University)|2019. 03. 15.

Advanced Vision and Imaging참고 문헌 72인용 수 20

한 줄 요약

DeepHuman는 단일 RGB 이미지에서 3D 인간 재구성에 대한 새로운 CNN 기반 프레임워크를 제안한다. SMPL 모델에서 유도된 조밀한 의미 표현과 다중 척도 부피 특징 변환을 활용하여 기하학적 정확도를 향상시킨다. 종단 간 학습이 가능한 부피 정규 벡터 개선 네트워크를 통해 최신 기술 수준의 성능을 달성하며, 다양한 옷차림과 자세를 가진 약 7,000개의 실제 인간 메시를 포함하는 THuman 데이터셋을 도입한다.

ABSTRACT

We propose DeepHuman, an image-guided volume-to-volume translation CNN for 3D human reconstruction from a single RGB image. To reduce the ambiguities associated with the surface geometry reconstruction, even for the reconstruction of invisible areas, we propose and leverage a dense semantic representation generated from SMPL model as an additional input. One key feature of our network is that it fuses different scales of image features into the 3D space through volumetric feature transformation, which helps to recover accurate surface geometry. The visible surface details are further refined through a normal refinement network, which can be concatenated with the volume generation network using our proposed volumetric normal projection layer. We also contribute THuman, a 3D real-world human model dataset containing about 7000 models. The network is trained using training data generated from the dataset. Overall, due to the specific design of our network and the diversity in our dataset, our method enables 3D human model estimation given only a single image and outperforms state-of-the-art approaches.

연구 동기 및 목표

• 단일 RGB 이미지에서 보이지 않는 영역과 옷을 입은 영역을 포함한 세밀한 3D 인간 신체를 재구성하는 데 도전한다.
• 매개변수화된 SMPL 모델에서 유도된 조밀한 의미 사전 정보를 통합하여 3D 재구성 공간의 기하학적 모호성을 줄인다.
• 다중 척도 이미지 특징을 3D 부피 공간에 융합하여 표면 세부 정보 복원을 향상시키고 정확한 기하학적 추정을 가능하게 한다.
• 표면 세부 정보 개선을 위한 종단 간 학습이 가능한 정규 벡터 개선 네트워크를 구현하기 위해 새로운 부피 정규 벡터 투영 레이어를 도입한다.
• 단일 이미지 기반 3D 재구성 모델의 훈련 및 평가를 지원하기 위해 대규모이고 다양한 실제 세계의 3D 인간 데이터셋(THuman)을 제공한다.

제안 방법

• HMR 또는 유사한 방법을 사용하여 단일 이미지에서 SMPL 신체 형태 및 자세 파라미터를 추정하여 보조 지도로 사용할 수 있는 조밀한 3D 의미 부피와 2D 의미 맵을 생성한다.
• 이미지 유도 부피-부피 변환 컨volution 네트워크를 활용하여 다중 척도 이미지 특징을 부피 특징 변환(VFT)을 통해 3D 공간으로 융합함으로써 기하학적 복원 성능을 향상시킨다.
• 부피 생성 네트워크와 전용 정규 벡터 개선 U-Net을 연결하기 위해 부피 정규 벡터 투영 레이어를 도입하여 표면 세부 정보 개선의 종단 간 학습을 가능하게 한다.
• 다중 척도 VFT를 사용하여 고해상도 이미지 세부 정보(예: 주름, 머리카락)를 3D 부피에 통합함으로써 과도한 매끄러움을 줄이고 경계 정확도를 향상시킨다.
• THuman 데이터셋에서 생성된 합성 데이터를 기반으로 네트워크를 훈련하며, 이 데이터셋은 다양한 옷차림과 자세를 가진 약 7,000개의 실제 인간 메시를 포함한다.
• DoubleFusion 기반의 THuman 캡처 파이프라인을 활용하여 실시간으로 옷을 입은 인간의 고품질, 중간 수준의 외부 기하학을 재구성한다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델은 단일 RGB 이미지에서 보이지 않는 영역과 복잡한 옷차림 세부 정보를 포함한 타당한 3D 인간 신체 기하학을 재구성할 수 있는가?
• RQ2 SMPL 모델에서 유도된 조밀한 의미 표현의 통합은 3D 재구성 공간을 제약하고 기하학적 정확도를 향상시키는 데 얼마나 효과적인가?
• RQ3 다중 척도 부피 특징 융합은 머리카락과 천의 윤곽과 같은 미세한 표면 세부 정보 복원에 얼마나 기여하는가?
• RQ4 부피 투영 레이어를 통해 연결된 전용 정규 벡터 개선 네트워크는 표면 정규 벡터 품질과 가시 표면 세부 정보의 정확도를 크게 향상시킬 수 있는가?
• RQ5 대규모 실제 세계 3D 인간 데이터셋(THuman)의 다양성과 현실성은 단일 이미지 기반 3D 재구성 모델의 일반화 능력과 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 단일 이미지에서 3D 인간 재구성 분야에서 최신 기술 수준의 접근법을 초월하여 더 높은 재구성 정확도와 더 나은 일반화 성능을 달성한다.
• 조밀한 의미 부피와 맵을 입력으로 사용함으로써 재구성의 모호성이 감소하고 IoU 점수가 향상되며, 부피 재구성 품질에서 상대적으로 15% 향상되었다.
• 다중 척도 부피 특징 변환은 경계 복원을 크게 향상시킨다: 기하학적으로 복잡한 특징(예: 머리 묶음)을 정확히 재구성할 수 있으며, 이는 라이브러리에서 근사치나 세밀 척도 특징만을 사용하는 경우에 놓치는 특징이다.
• 정규 벡터 개선 네트워크는 합성 데이터셋에서의 정량적 평가 결과, 코사인 거리 기준 22.5% 감소 및 ℓ2-노름 기준 22% 감소로 표면 정규 벡터 오차를 줄였다.
• 다양한 옷차림과 자세를 가진 약 7,000개의 실제 세계 인간 메시를 포함하는 THuman 데이터셋은 네트워크가 자연 이미지에 잘 일반화되고 견고한 성능을 발휘하도록 한다.
• 이 프레임워크는 단일 영상 재구성에서도 강력한 강인성과 적용 가능성을 보이며, 정적 이미지 외적 응용 범위를 확장한다.