[논문 리뷰] K-FACE: A Large-Scale KIST Face Database in Consideration with Unconstrained Environments

Yeji Choi, Hyun Jung Park외 5명|arXiv (Cornell University)|2021. 03. 03.

Face recognition and analysis참고 문헌 15인용 수 7

한 줄 요약

K-FACE는 1,000명의 다양한 주제를 포함하는 대규모 고품질 얼굴 데이터베이스로, 제어된 조명과 다중 카메라 구성을 갖춘 반구형 장치를 통해 체계적으로 촬영된 1,755만 장의 이미지로 구성되어 있다. 이 데이터베이스를 통해 자세, 조명, 표정 및 가림을 정밀하게 분석할 수 있으며, 성별과 연령 분포가 균형 잡혀 있어 비제약 조건 얼굴 인식, 연령 추정 및 3D 얼굴 모델링 연구에 유용하다.

ABSTRACT

In this paper, we introduce a new large-scale face database from KIST, denoted as K-FACE, and describe a novel capturing device specifically designed to obtain the data. The K-FACE database contains more than 1 million high-quality images of 1,000 subjects selected by considering the ratio of gender and age groups. It includes a variety of attributes, including 27 poses, 35 lighting conditions, three expressions, and occlusions by the combination of five types of accessories. As the K-FACE database is systematically constructed through a hemispherical capturing system with elaborate lighting control and multiple cameras, it is possible to accurately analyze the effects of factors that cause performance degradation, such as poses, lighting changes, and accessories. We consider not only the balance of external environmental factors, such as pose and lighting, but also the balance of personal characteristics such as gender and age group. The gender ratio is the same, while the age groups of subjects are uniformly distributed from the 20s to 50s for both genders. The K-FACE database can be extensively utilized in various vision tasks, such as face recognition, face frontalization, illumination normalization, face age estimation, and three-dimensional face model generation. We expect systematic diversity and uniformity of the K-FACE database to promote these research fields.

연구 동기 및 목표

• 다양한 환경적 요인과 인구 통계적 요소를 포함하는 대규모, 고품질, 체계적으로 균형 잡힌 얼굴 데이터베이스의 부족을 보완하기 위해.
• 기존 데이터베이스의 한계, 즉 성별 및 연령 분포의 불균형, 자세 및 조명 레이블의 희박함, 부족한 가림 다양성 등의 문제를 해결하기 위해.
• 모든 속성에 대해 정확한 애너테이션을 제공하는 표준화된 고해상도 데이터셋을 제공하여 얼굴 인식 및 관련 시각 작업의 신뢰성 있는 평가를 가능하게 하기 위해.
• 극단적인 조명, 표정 변화 및 액세서리에 의한 가림과 같은 어려운 실세계 시나리오에 대한 연구를 지원하기 위해, 특히 코로나19 이후에 특히 관련성이 높다.
• 통제된, 다양한, 균일하게 분포된 데이터를 통해 얼굴 인식, 연령 추정, 조명 정규화 및 3D 얼굴 재구성 분야의 발전을 촉진하기 위해.

제안 방법

• 27대의 동기화된 DSLR 카메라와 10개의 제어 가능한 조명 장치를 갖춘 맞춤형 반구형 촬영 시스템을 설계하여 다중 시점, 다중 조명 이미지를 촬영하였다.
• 27개의 고유한 구성에서 롤 및 요 각도를 변화시켜 비제약 조건의 시야 조건을 시뮬레이션하였다.
• 조명 강도(0–1,000 lux)와 방향을 35개의 고유한 조합으로 제어하여 실제 세계의 조명 변화를 모델링하였다.
• 중립, 미소, 혐오 표정의 세 가지 얼굴 표정을 촬영하고, 안경, 모자, 마스크 등 다섯 가지 유형의 액세서리를 적용하여 가림 시나리오를 시뮬레이션하였다.
• 모든 주제에서 성별과 연령(20대~50대)이 균형 잡혀 있도록 확보하였으며, 주제당 정확히 17,550장의 이미지를 확보하여 일관된 데이터 분포를 확보하였다.
• 모든 속성, 즉 자세, 조명, 표정, 가림 유형의 정확한 애너테이션을 보장하기 위해 수동 데이터 점검을 구현하였다.

실험 결과

연구 질문

• RQ1 27개 자세 구성에서의 자세 변화가 비제약 조건 얼굴 인식에서 딥러닝 모델의 성능에 어떤 정도의 영향을 미치는가?
• RQ2 다양한 조명 강도와 방향(35개 조건)이 얼굴 인식 및 조명 정규화 알고리즘의 정확도에 어떤 영향을 미치는가?
• RQ3 얼굴 인식 모델은 실세계 상황에서 여러 액세서리(예: 마스크, 안경, 모자)로 인한 가림을 얼마나 효과적으로 처리할 수 있는가?
• RQ4 K-FACE 데이터베이스는 다양한 자세, 조명 및 표정 조건에서 정확한 연령 추정과 노화 시뮬레이션을 지원할 수 있는가?
• RQ5 K-FACE의 균형 잡힌 성별 및 연령 분포가 불균형 데이터셋에 비해 훈련된 모델의 공정성과 일반화 능력을 얼마나 향상시키는가?

주요 결과

• K-FACE 데이터베이스는 1,000명의 주제에 대해 총 17,550,000장의 고해상도 이미지(2,592×1,728)를 포함하며, 주제당 정확히 17,550장의 이미지를 확보하여 균일한 데이터 분포를 보장한다.
• 이 데이터베이스는 27개의 고유한 자세, 35개의 조명 조건(강도 및 방향 변화), 세 가지 얼굴 표정, 다섯 가지 액세서리 유형에 의한 가림을 포함한다.
• 성별 균형은 여성 50.2%로 달성되었으며, 연령 분포는 20대에서 50대까지 균일하게 분포되어 있어 다른 데이터셋에서 흔히 볼 수 있는 양성 편향을 피했다.
• 반구형 촬영 시스템은 천정(예: 감시카메라) 및 바닥 각도(예: ATM, 바디캠)의 이미지를 확보할 수 있어 실세계 적용 가능성을 높였다.
• 조명 강도(0–1,000 lux)의 포함으로 이미지 기반 조명 정규화 및 현실적인 조명 모델링에 대한 고급 연구가 가능해졌다.
• 마스크가 씌워진 얼굴를 포함한 극한 조건에서도 얼굴 인식의 강력한 평가가 가능하며, 이는 패닉 이후의 신원 확인 시스템에 매우 중요하다.