[논문 리뷰] What Face and Body Shapes Can Tell About Height

Semih Günel, Helge Rhodin외 1명|arXiv (Cornell University)|2018. 05. 25.

Face recognition and analysis참고 문헌 36인용 수 8

한 줄 요약

이 논문은 캘리브레이션된 카메라 또는 알려진 시점 기하학이 없는 단일 RGB 이미지에서 인간의 키를 추정하기 위한 딥러닝 접근법을 제안한다. 얼굴 및 신체 특징에서 유도한 척도 불변 성형 비율을 활용하고, 새로 정제한 274,964장의 이미지 데이터셋으로 훈련함으로써, 5.56cm의 평균 절대 오차를 달성하며 기존의 비캘리브레이션 설정에서의 연구를 크게 앞서간다.

ABSTRACT

Recovering a person's height from a single image is important for virtual garment fitting, autonomous driving and surveillance, however, it is also very challenging due to the absence of absolute scale information. We tackle the rarely addressed case, where camera parameters and scene geometry is unknown. To nevertheless resolve the inherent scale ambiguity, we infer height from statistics that are intrinsic to human anatomy and can be estimated from images directly, such as articulated pose, bone length proportions, and facial features. Our contribution is twofold. First, we experiment with different machine learning models to capture the relation between image content and human height. Second, we show that performance is predominantly limited by dataset size and create a new dataset that is three magnitudes larger, by mining explicit height labels and propagating them to additional images through face recognition and assignment consistency. Our evaluation shows that monocular height estimation is possible with a MAE of 5.56cm.

연구 동기 및 목표

• 카메라 파라미터와 시점 기하학이 알려져 있지 않은 비캘리브레이션 설정에서 단안 키 추정의 과제를 해결한다.
• 머리 높이 대 어깨 비율 및 사지 길이 비율과 같은 내재된 해부학적 비율을 활용하여 단일 이미지 키 추정의 본질적 척도 모호성을 극복한다.
• 얼굴 인식 및 일致성 제약 조건을 사용하여 대규모 이미지 컬렉션에 걸쳐 키 레이블을 추출하고 전파할 수 있는 확장 가능한 방법을 개발한다.
• 훈련 데이터셋이 충분히 크다면 모델 성능은 아키텍처 선택보다 데이터셋 크기에 의해 주로 제한됨을 보여준다.
• 얼굴 세부 사항과 전체 신체 외관 간의 상대 기여도를 조사하고, 다중 척도 특징 학습이 정확도 향상에 기여하는지 확인한다.

제안 방법

• 동일한 사람의 이미지 간 일관성과 얼굴 인식을 활용하여, 약간의 레이블이 있는 이미지에서부터 대규모 컬렉션으로 키 레이블을 전파한다.
• 신체 및 얼굴 영역을 입력으로 사용하여, 이미지 특징에서 키를 회귀하는 데 끝에서 끝까지 딥 네트워크를 훈련한다.
• 작은 척도의 얼굴 세부 사항과 큰 척도의 신체 비율을 동시에 캡처할 수 있도록 스케일별 특징을 처리하는 다중 스트림 네트워크 아키텍처를 설계한다.
• 신체 코너스토밍, 얼굴 코너스토밍, 그리고 신체+얼굴 조합 입력을 사용하여 특징 기여도를 평가하고 입력 모odal을 최적화한다.
• 자세, 조명, 시점 변화에 대한 강건성을 향상시키기 위해 데이터 증강 및 정규화 기법을 적용한다.
• IMDB-100K(100,000장의 이미지 포함)와 작은 Lab-test 세트에서 모델을 훈련하고 평가하며, 기여도를 분리하기 위한 아블레이션 스터디를 수행한다.

실험 결과

연구 질문

• RQ1 머리 높이 대 어깨 비율 및 사지 길이 비율과 같은 해부학적 비율은 단일 이미지에서 신뢰성 있게 추정 가능할 수 있으며, 카메라 캘리브레이션 없이 절대 키를 추론하는 데 사용될 수 있는가?
• RQ2 훈련 데이터셋의 크기가 단안 키 추정을 위한 딥러닝 모델의 성능에 어떤 영향을 미치는가?
• RQ3 얼굴 특징이 전체 신체 외관에 비해 키 추정에 얼마나 기여하는가? 다중 척도 특징 학습은 유익한가?
• RQ4 얼굴 인식 및 일관성 제약 조건을 사용하여 대규모 이미지 컬렉션 전반에 걸쳐 신뢰할 수 있는 키 레이블을 자동으로 전파할 수 있는가?
• RQ5 대규모 데이터셋에서 훈련할 경우 딥러닝 아키텍처의 선택이 성능에 상당한 영향을 미치는가?

주요 결과

• 제안된 방법은 IMDB-100K 데이터셋에서 평균 절대 오차(MAE) 5.56cm를 달성하며, 기존 최고 성능 모델을 크게 앞서간다.
• 더 큰 데이터셋을 사용할수록 성능이 크게 향상되어 현재 성능의 한계가 모델 용량이 아니라 데이터 부족에 기인함을 시사한다.
• 얼굴 및 전체 신체 특징의 조합이 가장 뛰어난 성능을 보였으며, Lab-test 세트에서 얼굴만을 입력으로 사용한 경우가 신체만을 사용한 경우보다 성능이 뛰어나, 자세의 변동성이 더 높기 때문일 것이다.
• 얼굴 및 신체 특징을 별도로 처리한 후 융합하는 다중 척도 딥 네트워크가 뛰어난 성능을 내어, 작은 척도의 얼굴 세부 사항을 캡처하는 것이 중요함을 확인한다.
• 성별별 훈련이 성능 향상에 기여하며, 특히 여성의 경우 더 높은 정확도를 보여, 성별 인식 모델링이 회귀 정확도 향상에 기여함을 시사한다.
• 아블레이션 스터디는 DeepNet이 간단한 모델들(Linear, ShallowNet)보다 성능이 뛰어나며, 전체 모델이 신체+얼굴 입력을 조합한 경우가 IMDB-100K에서 가장 낮은 오차(6.06cm)를 기록함을 확인한다.