[논문 리뷰] HUMBI: A Large Multiview Dataset of Human Body Expressions

Zhixuan Yu, Jae Shin Yoon외 5명|arXiv (Cornell University)|2018. 12. 01.

Human Pose and Action Recognition참고 문헌 79인용 수 5

한 줄 요약

HUMBI는 107대의 동기화된 HD 카메라를 사용해 자연스러운 옷을 입은 772명의 다양한 신체를 촬영한 대규모 다중 시점 데이터셋으로, 고해상도 3D 메쉬 재구성과 시점별 외관 모델링을 가능하게 한다. 이는 3D 자세 및 메쉬 예측 성능을 크게 향상시키며, 기존 데이터셋과 상호보완적이며 일반화 능력에서 뛰어나 사진처럼 사실적인 원격 존재감 모델링을 가능하게 한다.

ABSTRACT

This paper presents a new large multiview dataset called HUMBI for human body expressions with natural clothing. The goal of HUMBI is to facilitate modeling view-specific appearance and geometry of gaze, face, hand, body, and garment from assorted people. 107 synchronized HD cameras are used to capture 772 distinctive subjects across gender, ethnicity, age, and physical condition. With the multiview image streams, we reconstruct high fidelity body expressions using 3D mesh models, which allows representing view-specific appearance using their canonical atlas. We demonstrate that HUMBI is highly effective in learning and reconstructing a complete human model and is complementary to the existing datasets of human body expressions with limited views and subjects such as MPII-Gaze, Multi-PIE, Human3.6M, and Panoptic Studio datasets.

연구 동기 및 목표

• 시점별 외관과 인간 신체 표현의 기하학적 특성을 모델링하기 위한 대규모, 다양한 종류의 주제, 고해상도 다중 시점 데이터셋이 부족한 문제를 해결하기 위해.
• 다양한 주제, 자세, 시점의 광범위한 변형을 촬영함으로써 일반화 가능한 사진처럼 사실적인 인간 신체 모델 학습을 가능하게 하기 위해.
• 밀집 다중 시점 데이터를 활용해 3D 인간 신체 재구성 및 인식 모델의 성능 향상을 위한 벤치마크를 제공하기 위해.
• 시선, 얼굴, 손, 몸체, 의복을 고정밀도로 모델링하여 진정성 있는 원격 존재 시스템 개발을 지원하기 위해.

제안 방법

• 성별, 인종, 연령, 신체 조건에 관계없이 772명의 주제를 107대의 동기화된 HD 카메라로 촬영하며, 이 중 68대는 정면을 햖향한 카메라이다.
• 3D 메쉬 모델을 사용해 고해상도 3D 신체 표현을 재구성하고, 표준 아틀라스 매핑을 통해 시점별 외관을 표현한다.
• 다중 시점 스테레오 및 실루엣 기반 형상 추출 기법을 활용해 신체 및 의복 기하학적 구조를 고밀도로 재구성한다.
• HUMBI에서 2D 랜드마크의 약한 지도 정보를 활용해 일반화된 3D 자세를 학습하기 위해 일반 CNN을 사용한다.
• 기존 데이터셋(예: Human3.6M, MPI-INF-3DHP, UP-3D)과의 비교를 위해 교차 데이터셋 평가를 수행한다.
• 카메라 수가 의복 재구성 정확도와 밀도에 미치는 영향을 평가하기 위해 카메라 제거 실험을 수행한다.

실험 결과

연구 질문

• RQ1 다양한 주제와 고밀도 카메라를 갖춘 대규모 다중 시점 데이터셋은 기존 데이터셋 대비 3D 인간 신체 자세 추정 성능에 어떤 영향을 미치는가?
• RQ2 HUMBI는 다른 데이터셋에서 학습된 3D 신체 메쉬 예측 모델의 일반화 능력을 어느 정도 향상시킬 수 있는가?
• RQ3 다중 시점 설정에서 정확한 의복 재구성에 필요한 최적의 카메라 수는 얼마인가?
• RQ4 HUMBI는 3D 손 및 신체 메쉬 예측에 대해 기존 데이터셋과의 교차 데이터 평가에서 성능 면에서 어떻게 비교되는가?
• RQ5 HUMBI는 제한된 시점 또는 제한된 주제 데이터셋에서 학습된 모델의 성능 향상에 보완적인 데이터 소스로 활용될 수 있는가?

주요 결과

• HUMBI는 Human3.6M 및 MPI-INF-3DHP보다 3D 신체 관절 예측 성능에서 각각 AUC(ROC 곡선 아래 면적)가 0.023, 0.064 높게 기록되었다.
• HUMBI에서만 학습된 모델은 다른 데이터셋과 조합될 경우, 각각 Human3.6M 및 MPI-INF-3DHP의 AUC가 0.057, 0.078 향상되었다.
• HUMBI에서 학습한 후 ObMan 데이터셋에서 테스트할 경우, 평균 3D 손 메쉬 예측 오차가 3.5 ± 2.4 픽셀로 감소하여 강력한 일반화 능력을 보였다.
• 의복 재구성은 단지 60대의 카메라로도 거의 최적의 정확도와 밀도를 달성했으며, 107대 카메라 성능에 근접했다.
• HUMBI는 단일 시점 3D 신체 메쉬 예측 성능에 상당한 향상을 가져왔으며, 특히 UP-3D와 조합할 경우 평균 오차를 22.7 픽셀에서 12.5 픽셀로 감소시켰다.
• 기존 벤치마크와의 강력한 상호보완성은 HUMBI를 다른 데이터셋과 조합할 경우 단일 데이터셋을 사용할 경우보다 항상 더 나은 성능을 내는 것으로 나타났다.