[논문 리뷰] Detailed Human Shape Estimation from a Single Image by Hierarchical Mesh Deformation

Hao Zhu, Xinxin Zuo외 3명|arXiv (Cornell University)|2019. 04. 24.

3D Shape Modeling and Analysis참고 문헌 41인용 수 10

한 줄 요약

이 논문은 싱글 이미지에서 세밀한 인간 자세를 복원하기 위해 딥 뉴럴 네트워크를 사용하여 매개변수 기반 SMPL 신체 모델을 정교화하는 계층적 메쉬 변형(HMD) 프레임워크를 제안한다. 창시된 프레임워크는 윤곽선, 관절, 조명 정보를 조합한 코arse-to-fine 변형 전략과 윈도우 컷 이미지 입력을 통해, 2D IoU 및 3D 메트릭 정확도에서 최신 기술 수준을 달성하며, 피부 모델을 초월하는 현실적이고 세밀한 신체 형태를 생성한다.

ABSTRACT

This paper presents a novel framework to recover detailed human body shapes from a single image. It is a challenging task due to factors such as variations in human shapes, body poses, and viewpoints. Prior methods typically attempt to recover the human body shape using a parametric based template that lacks the surface details. As such the resulting body shape appears to be without clothing. In this paper, we propose a novel learning-based framework that combines the robustness of parametric model with the flexibility of free-form 3D deformation. We use the deep neural networks to refine the 3D shape in a Hierarchical Mesh Deformation (HMD) framework, utilizing the constraints from body joints, silhouettes, and per-pixel shading information. We are able to restore detailed human body shapes beyond skinned models. Experiments demonstrate that our method has outperformed previous state-of-the-art approaches, achieving better accuracy in terms of both 2D IoU number and 3D metric distance. The code is available in https://github.com/zhuhao-nju/hmd.git

연구 동기 및 목표

• 매개변수 기반 모델(예: SMPL)이 표면 세부 정보를 갖추지 못하고 옷이나 미세 기하학을 표현할 수 없는 한계를 해결하기 위해.
• 고주파 수준의 형태 세부 정보를 복원하지 못하는 체적 예측 방법의 해상도가 낮은 문제를 해결하기 위해.
• 매개변수 모델의 강건성과 자유형 3D 변형의 유연성을 결합한 학습 기반 방법을 개발하기 위해.
• 다양한 자세, 체형, 시점에서 단일 이미지로부터 정확하고 세밀한 3D 인간 신체 형태 복원을 가능하게 하기 위해.
• 국소화된 이미지 입력을 사용한 코어스-투-파인 계층적 변형 전략을 통해 일반화 능력과 정확도를 향상시키기 위해.

제안 방법

• 이 방법은 project-predict-deform 파이프라인을 사용한다: 3D 메쉬를 2D로 투영하고, 이미지와 투영된 메쉬를 딥 네트워크에 입력하여 메쉬의 정점 이동량을 예측하고 메쉬를 변형한다.
• 계층적 메쉬 변형 프레임워크는 세 단계로 구성된다: 관절 수준, 앵커 수준, 정점 수준이며, 국소적이고 전반적인 형태 정밀도 향상을 가능하게 한다.
• 네트워크는 2D 투영 오차, 윤곽선 IoU, 및 픽셀 단위 조명 일관성에서 유도된 손실 함수를 조합하여 훈련된다.
• 전체 이미지 대신 윈도우 컷 이미지 입력을 사용하여 국소화 정확도를 향상시키고 배경 노이즈를 줄여 예측 정확도를 향상시킨다.
• 각 수준에서 관절, 윤곽선, 조명 정보 제약 조건을 통합하여 변형을 이끌지만, 구조적 타당성을 유지한다.
• 초기 SMPL 메쉬는 코어스-투-파인 방식으로 반복적으로 변형되며, 각 단계에서 점점 더 세밀한 감독을 사용하여 형태를 정밀하게 개선한다.

실험 결과

연구 질문

• RQ1 딥 러닝 기반 방법이 매개변수 모델의 강건성과 자유형 변형의 유연성을 조합함으로써 단일 이미지에서 3D 인간 형태 복원 성능을 향상시킬 수 있는가?
• RQ2 전체 이미지 입력 대비 윈도우 컷 이미지 입력을 사용할 경우 변형 정확도와 모델 효율성 측면에서 어떤 차이가 있는가?
• RQ3 관절, 윤곽선, 조명 정보가 함께 통합될 경우, 기존의 표준 매개변수 모델을 초월해 형태 세부 정보 복원 능력이 얼마나 향상되는가?
• RQ4 모델이 제약이 없는 실세계 이미지(예: WILD 데이터셋)에 일반화되어도 높은 정밀도와 정확도를 유지할 수 있는가?
• RQ5 2D 및 3D 복원 메트릭 측면에서 계층적 변형 전략은 엔드 투 엔드 또는 비계층적 접근 방식과 비교해 어떤가?

주요 결과

• 제안된 HMD 방법은 모든 평가 데이터셋에서 2D IoU 및 3D 메트릭 거리 측면에서 최신 기술 수준의 방법을 초월하며, 최고의 윤곽선 IoU와 가장 낮은 관절 오차를 기록한다.
• 윈도우 컷 이미지 입력을 사용할 경우 전체 이미지 입력 대비 윤곽선 IoU가 12.3% 향상되고 관절 오차는 15.7% 감소하지만, 모델 크기는 41%로 줄어든다.
• 관절 및 앵커 수준의 변형을 함께 사용할 경우 가장 우수한 성능을 기록하며, 단일 제약 조건을 사용한 경우 대비 윤곽선 IoU가 7.8% 향상된다.
• 윤곽선 정보를 추가 입력으로 제공받을 경우 더 나은 결과를 얻었으며, 이는 형태 복원에서 다중 감독의 효과를 입증한다.
• RECON 데이터셋에서 HMD는 3D 오차 14.2 mm를 기록하여 BodyNet(16.5 mm)과 HMR(18.1 mm)를 모두 능가했으며, 특히 가려진 사지의 복원에서 뛰어난 성능을 보였다.
• 시각화 결과에 따르면 HMD가 생성한 질감 처리된 메쉬는 입력 이미지와 밀도 높은 일致성을 보이며, 확장된 전경 마스크를 사용할 경우 질감 일致성과 가장자리 세부 정보가 향상되었다.