[논문 리뷰] HUMBI 1.0: HUman Multiview Behavioral Imaging Dataset.

Zhixuan Yu, Jae Shin Yoon외 4명|arXiv (Cornell University)|2018. 12. 01.

Human Pose and Action Recognition참고 문헌 41인용 수 7

한 줄 요약

HUMBI 1.0은 107대의 동기화된 HD 카메라를 사용하여 다양한 민족, 성별, 연령 및 신체 조건을 가진 772명의 주제를 촬영한 대규모 다중 시점 데이터셋으로, 눈동자, 얼굴, 손, 몸체 및 의복을 포함한 고해상도 3D 인간 신체 표현을 가능하게 한다. 이 데이터셋은 3D 메시 재구성에 기반한 캐논리컬 아틀라스 표현 방식을 통해 시점별 외관과 기하학적 구조 모델링을 지원하여, 기존의 시점 수와 주제 다양성이 제한된 데이터셋에 비해 상당한 발전을 이룬다.

ABSTRACT

This paper presents a new large multiview dataset called HUMBI for human body expressions with natural clothing. The goal of HUMBI is to facilitate modeling view-specific appearance and geometry of gaze, face, hand, body, and garment from assorted people. 107 synchronized HD cameras are used to capture 772 distinctive subjects across gender, ethnicity, age, and physical condition. With the multiview image streams, we reconstruct high fidelity body expressions using 3D mesh models, which allows representing view-specific appearance using their canonical atlas. We demonstrate that HUMBI is highly effective in learning and reconstructing a complete human model and is complementary to the existing datasets of human body expressions with limited views and subjects such as MPII-Gaze, Multi-PIE, Human3.6M, and Panoptic Studio datasets.

연구 동기 및 목표

• 자연스러운 의복을 착용한 전체 인간 신체 표현을 촬영한 대규모, 다양한 주제, 다중 시점 데이터셋의 부족을 보완하기 위해.
• 눈동자, 얼굴, 손, 몸체 및 의복의 시점별 외관과 기하학적 구조를 정확하게 모델링하기 위해.
• 동기화된 다중 시점 영상 스트림을 활용하여 인간 운동과 형태의 고해상도 3D 재구성 지원을 위해.
• MPII-Gaze, Multi-PIE, Human3.6M, Panoptic Studio와 같은 기존 데이터셋과의 보완 자원 제공을 위해. 이들 데이터셋은 시점 수와 주제 다양성 측면에서 제한되어 있다.

제안 방법

• 107대의 카메라에서 동기화된 HD 영상 스트림을 촬영하여 인간 주제의 고밀도 다중 시점 커버리지 확보.
• 다중 시점 영상 데이터로부터 고해상도 3D 메시 모델을 재구성.
• 일관된 텍스처 매핑을 위해 시점별 외관을 캐논리컬 아틀라스 표현에 투영.
• 3D 메시 모델을 활용하여 얼굴 표정, 손짓, 의복의 역학 등 신체 표현의 세부 분석을 가능하게 함.
• 772명의 고유 주제에 걸쳐 성별, 인종, 연령 및 신체 상태의 다양성 확보.
• 다중 시점 기하학적 정보를 활용하여 3D 재구성 정확도 및 시점별 외관 모델링 향상.

실험 결과

연구 질문

• RQ1 다양한 주제를 포함한 대규모 다중 시점 데이터셋이 기존의 시점 수 제한된 데이터셋에 비해 3D 인간 신체 표현 모델링의 정밀도를 향상시키는가?
• RQ2 3D 메시 모델에 기반한 캐논리컬 아틀라스를 활용할 경우 눈동자, 얼굴, 손, 몸체 및 의복의 시점별 외관과 기하학적 구조를 얼마나 효과적으로 촬영하고 표현할 수 있는가?
• RQ3 자연스러운 의복과 다양한 민족 배경의 주제 포함이 인간 신체 모델링 시스템의 일반화 능력을 어느 정도 향상시키는가?
• RQ4 MPII-Gaze, Multi-PIE, Human3.6M, Panoptic Studio와 같은 기존 기준 데이터셋과 비교했을 때 HUMBI의 유용성과 대표성은 어떠한가?

주요 결과

• HUMBI 1.0은 107대의 동기화된 HD 카메라를 사용하여 다양한 민족 배경, 성별, 연령 및 신체 조건을 가진 772명의 고유 주제를 촬영하여, 기존 데이터셋 대비 주제 수와 시점 다양성 측면에서 크게 확장되었다.
• 다중 시점 데이터로부터 고해상도 3D 메시 모델이 성공적으로 재구성되어 신체 표현과 기하학적 구조의 정확한 표현이 가능해졌다.
• 캐논리컬 아틀라스 투영을 통한 시점별 외관 모델링이 효과적으로 이루어져 일관된 텍스처 및 시점 의존 렌더링 지원이 가능해졌다.
• 이 데이터셋은 기존의 시점 수와 주제 수가 제한된 데이터셋과의 보완성을 보이며, 완전한 인간 신체 모델의 학습 및 재구성 향상에 기여한다.
• 자연스러운 의복을 착용한 상태에서 눈동자, 얼굴, 손, 몸체 및 의복 역학을 세밀하게 모델링할 수 있어 현재 데이터셋의 핵심적 격차를 메웠다.
• 다중 시점 설정 덕분에 강력한 3D 재구성과 시점 의존 분석이 가능해져 향후 인간 운동 및 행동 모델링 분야의 응용 잠재력을 높였다.