[논문 리뷰] Monocular Real-time Full Body Capture with Inter-part Correlations

Yuxiao Zhou, Marc Habermann외 4명|arXiv (Cornell University)|2020. 12. 11.

Face recognition and analysis참고 문헌 76인용 수 6

한 줄 요약

이 논문은 단일 RGB 이미지에서 신체, 손, 얼굴 기하학적 구조, 신원 및 표정을 동시에 추정하는 최초의 실시간 단안 3D 캡처 방법을 제안한다. 신체 부위 간 상관관계를 활용하기 위해 고안된 새로운 특징 조합 네트워크와 주의 메커니즘을 적용한 다중 데이터셋 훈련을 통해, 모든 신체 부위에 동시에 애너테이션을 요구하지 않음에도 불구하고 높은 정확도와 효율성을 달성한다.

ABSTRACT

We present the first method for real-time full body capture that estimates shape and motion of body and hands together with a dynamic 3D face model from a single color image. Our approach uses a new neural network architecture that exploits correlations between body and hands at high computational efficiency. Unlike previous works, our approach is jointly trained on multiple datasets focusing on hand, body or face separately, without requiring data where all the parts are annotated at the same time, which is much more difficult to create at sufficient variety. The possibility of such multi-dataset training enables superior generalization ability. In contrast to earlier monocular full body methods, our approach captures more expressive 3D face geometry and color by estimating the shape, expression, albedo and illumination parameters of a statistical face model. Our method achieves competitive accuracy on public benchmarks, while being significantly faster and providing more complete face reconstructions.

연구 동기 및 목표

• 손과 얼굴 표정을 포함한 실시간 단안 전체 신체 3D 캡처의 과제를 해결한다.
• 신체, 손, 얼굴에 동시에 애너테이션을 제공하는 대규모 데이터셋을 수집하는 데 어려움을 극복한다.
• 모든 신체 부위에 대한 동시 애너테이션을 요구하지 않고도 다양한 벤치마크에서 뛰어난 일반화 성능을 달성한다.
• 신체 특징을 저주파 전역적 맥락으로 활용하여 손 관절 키포인트 검출의 정확도와 효율성을 향상시킨다.
• 신원과 표정 변화를 고려한 3D 모델러블 얼굴 모델(3DMM)을 사용해 세밀한 얼굴 기하학, 알베도, 조명을 재구성한다.

제안 방법

• 다섯 개의 작업별 하위 네트워크를 갖춘 모듈러하고 종단간 딥러닝 파이프라인을 제안한다: DetNet(키포인트 검출), BodyIKNet 및 HandIKNet(역운동역학), FaceNet(3D 얼굴 모델링).
• 손 자세 추정 브랜치에서 신체 특징(저주파 전역적 맥락)과 국소 손 특징(고주파 세부 정보)을 모두 사용하는 특징 조합 메커니즘을 설계하여 계산량을 감소시키고 정확도를 향상시킨다.
• 다양한 데이터셋 간 키포인트 불일치 문제를 다루기 위해 2단계 신체 키포인트 검출 구조를 구현한다.
• 미니배치 훈련 중 다양한 데이터 모odal리티(2D/3D 키포인트, MoCap, 이미지)의 특징을 동적으로 선택하고 가중치를 조정하기 위한 주의 메커니즘을 도입한다.
• 다양한 데이터셋을 사용해 네트워크를 훈련한다: 부위별 전용(신체, 손, 얼굴), 병합(신체+손), MoCap 전용, 2D 애너테이션을 가진 실외 이미지.
• 신체 및 손 메esh에 SMPLH를 사용하고, 얼굴 영역은 3D 모델러블 얼굴 모델(3DMM)로 대체하여 형태, 표정, 알베도, 조명을 포괄적으로 캡처한다.

Figure 1 : We present the first real-time monocular approach that jointly captures shape and pose of body and hands together with facial geometry and color. Top: results on in-the-wild sequences. Bottom: real-time demo. Our approach predicts facial color while the body color is set manually.

실험 결과

연구 질문

• RQ1 단일 네트워크 아키텍처가 단안 RGB 이미지에서 실시간으로 3D 신체, 손, 얼굴 기하학적 구조를 동시에 추정할 수 있는가?
• RQ2 신체와 손 간 상관관계를 어떻게 활용하여 손 키포인트 검출의 정확도와 효율성을 향상시킬 수 있는가?
• RQ3 모든 신체 부위에 대한 동시 애너테이션을 요구하지 않고도 부위별 전용 데이터셋에서 훈련함으로써 뛰어난 일반화 성능을 달성할 수 있는가?
• RQ4 2D/3D 키포인트, MoCap, 이미지 등 다중 모odal 데이터 훈련이 다양한 벤치마크에서 성능 향상에 얼마나 기여하는가?
• RQ5 3DMM 기반 접근법을 사용해 실시간으로 세밀하고 렌더링 준비가 된 얼굴 기하학과 색상 재구성을 할 수 있는가?

주요 결과

• 실시간 추론(실시간 데모로 입증됨)을 달성하면서도 공개 벤치마크에서 경쟁력 있는 정확도를 확보하였으며, 신체 특징을 사용하지 않은 기준선 대비 MTC-Hand에서 MPJPE가 28% 감소하였다.
• FaceNet은 MTC-Face에서 랜드마크 오차를 3.37 px로 줄였고, 광학적 오차를 0.0444(채널 기준)로 낮추어 [61]에 비해 랜드마크 오차 27%, 광학적 오차 32% 향상되었다.
• 주의 메커니즘이 데이터셋 간 일반화 성능을 향상시켰으며, DetNet은 HM36M에서 DetNet-U(균일) 대비 5.4 mm, MPII3D에서 9.8 mm의 MPJPE 향상으로 성능을 뛰어올랐다.
• DetNet-O(MTC에서만 훈련)는 MTC-Hand를 초월해 일반화하지 못했고, DetNet-I(실내 전용)는 실외 데이터에서 성능이 열등하여 다양한 데이터의 가치를 입증하였다.
• 절단 분석 결과, 신체 특징(F*)은 MTC-Hand에서 손 MPJPE를 28% 감소시켰고, 보조 특징(Supp-features, 고해상도 손 특징)이 성능 향상에 필수적임을 확인하였다.
• 기존 단안 방법과 달리, 이 방법은 알베도와 조명을 포함한 개인화된 얼굴 신원과 표정을 캡처하여 사진 수준의 렌더링을 가능하게 하였다.

Figure 2 : System overview and DetNet structure. Left: An input image $I_{h}$ is first downscaled by 4x for body keypoint detection and face/hand localization. The hand area is then cropped from $I_{h}$ to retrieve supp-features , which are concatenated with processed body-features for hand keypoint