[논문 리뷰] Family in the Wild (FIW): A Large-scale Kinship Recognition Database.

Joseph P. Robinson, Ming Shao외 2명|arXiv (Cornell University)|2016. 04. 07.

Face recognition and analysis참고 문헌 13인용 수 7

한 줄 요약

이 논문은 가족 사진의 대규모이고 다양한 구성의 데이터셋인 '가족의 자연 상태(Family in the Wild, FIW)'를 소개한다. 이 데이터셋은 상세한 계층적 친족 관계, 특성, 국소 레이블을 포함한다. 고유의 레이블링 도구를 통해 개발된 이 벤치마크 데이터셋은 친족 관계 인식에서 최신 기술 수준의 성능을 달성할 수 있게 하며, 사전 훈련된 CNN 특징이 전통적인 시각적 특징보다 뛰어나며 기계 학습 알고리즘이 인간의 성능을 뛰어넘는다는 것을 입증한다.

ABSTRACT

We introduce a large-scale dataset for visual kin-based problems, the Family in the Wild (FIW) dataset. Motivated by the lack of a single, unified image dataset available for kinship tasks, our goal is to provide a dataset that captivates the interest of the research community, i.e., large enough to support multiple tasks for evaluation. For this, we collected and labelled the largest set of family images to date, with only a small team and an efficient labelling tool that was designed to optimize the process of marking complex hierarchical relationships, attributes, and local label information in family photos. We experimentally compare our dataset the existing kinship image datasets, and demonstrate the practical value of the newly collected FIW dataset. We also demonstrate that using a pre-trained convolutional neural network (CNN) as an off-the-shelf feature extractor as performing better than traditional feature types used for kinship based tasks in the visual domain. We also measure human performance and show their performance does not match up to that of machine vision algorithms.

연구 동기 및 목표

• 시각적 친족 관계 인식 작업을 위한 통합적이고 대규모인 데이터셋의 부족을 해결하기 위해.
• 다양하고 현실적인 가족 구조를 반영한 최대 규모의 가족 이미지 데이터셋을 수집하고 레이블링하기 위해.
• 친족 관계 인식에서 다중 평가 작업을 지원하는 벤치마크 데이터셋을 제공하기 위해.
• 사전 훈련된 CNN 특징이 전통적인 수작업 시각적 특징보다 친족 관계 인식 작업에서 뛰어나다는 것을 입증하기 위해.
• 기계 학습 모델의 성능를 인간의 성능과 비교하기 위해.

제안 방법

• 저자들은 공개 자료원에서 대규모 가족 사진 데이터셋을 수집하였으며, 다양한 구성과 현실적인 가족 구조에 중점을 두었다.
• 가족 사진 내에서 복잡한 계층적 친족 관계, 특성, 국소 얼굴 영역을 레이블링하기 위해 고유한 효율적인 레이블링 도구를 개발하였다.
• 이 데이터셋은 부모-자식, 형제자매, 확장 가족 관계에 대한 세부 레이블과 함께 얼굴 특성 및 국소화 레이블을 포함한다.
• 저자들은 기존의 친족 관계 데이터셋과의 비교 및 표준 벤치마크를 사용한 성능 측정을 통해 데이터셋의 성능을 평가하였다.
• 기존의 특징 추출기로 사용 가능한 사전 훈련된 합성곱 신경망(CNN)을 미세 조정하고 친족 관계 인식에 적용하였다.
• 인간의 성능는 제어된 레이블링 작업을 통해 기계 학습 모델과 비교하였다.

실험 결과

연구 질문

• RQ1 FIW 데이터셋은 규모, 다양성, 레이블 품질 측면에서 기존의 친족 관계 데이터셋과 비교해 어떻게 다른가?
• RQ2 사전 훈련된 CNN 특징이 친족 관계 인식 작업에서 전통적인 수작업 시각적 특징(HOG, LBP 등)을 초월하는가?
• RQ3 기계 학습 모델이 이미지에서 친족 관계를 인식하는 데 있어 인간의 성능를 어느 정도 뛰어넘는가?
• RQ4 고유의 레이블링 도구는 복잡한 계층적 가족 관계를 얼마나 효과적으로 포착할 수 있는가?
• RQ5 데이터셋의 크기와 레이블의 풍부함은 친족 관계 인식 성능에 어떤 영향을 미치는가?

주요 결과

• FIW 데이터셋은 지금까지 공개된 바 있는 가장 대규모인 친족 관계 인식 데이터셋이며, 이전의 수집과 비교해 크게 규모가 크다.
• 사전 훈련된 CNN 특징은 친족 관계 인식 작업에서 HOG, LBP와 같은 전통적인 수작업 시각적 특징을 일관되게 뛰어넘는다.
• 기계 시각 알고리즘이 이미지에서 친족 관계를 인식하는 데 있어 인간 레이블러보다 더 높은 정확도를 달성한다.
• 고유의 레이블링 도구는 복잡한 가족 계층과 국소화된 얼굴 특성을 효율적이고 정확하게 레이블링할 수 있도록 한다.
• 이 데이터셋은 인식, 특성 예측, 국소화와 같은 다양한 친족 관련 작업을 지원할 잠재력을 보여준다.
• 결과적으로 FIW 데이터셋은 향후 시각적 친족 관계 인식 분야의 연구에 유의미한 기준이 되는 것으로 입증되었다.