[논문 리뷰] Families in the Wild (FIW): Large-Scale Kinship Image Database and Benchmarks

Joseph P. Robinson, Ming Shao외 2명|arXiv (Cornell University)|2016. 04. 07.

Face recognition and analysis참고 문헌 31인용 수 66

한 줄 요약

이 논문은 현재까지 가장 큰 친족 인식 데이터셋인 'Families in the Wild (FIW)'을 소개한다. FIW는 전 세계 1,000개의 다양한 가정에서 수집한 11,163장의 자유로운 환경의 가족 사진을 포함한다. 저자들은 계층적 친족 관계 레이블링을 위한 새로운 애너테이션 툴을 제안하였으며, 사전 훈련된 VGG-Face CNN을 FIW에서 미세조정함으로써 성능을 크게 향상시켰다. 이는 가족 인식에서 13.3%의 상위-1 정확도를 달성하였고, 수작업 특징 및 메트릭 학습 기반 모델보다도 뛰어난 성능을 보였다.

ABSTRACT

We present the largest kinship recognition dataset to date, Families in the Wild (FIW). Motivated by the lack of a single, unified dataset for kinship recognition, we aim to provide a dataset that captivates the interest of the research community. With only a small team, we were able to collect, organize, and label over 10,000 family photos of 1,000 families with our annotation tool designed to mark complex hierarchical relationships and local label information in a quick and efficient manner. We include several benchmarks for two image-based tasks, kinship verification and family recognition. For this, we incorporate several visual features and metric learning methods as baselines. Also, we demonstrate that a pre-trained Convolutional Neural Network (CNN) as an off-the-shelf feature extractor outperforms the other feature types. Then, results were further boosted by fine-tuning two deep CNNs on FIW data: (1) for kinship verification, a triplet loss function was learned on top of the network of pre-trained weights; (2) for family recognition, a family-specific softmax classifier was added to the network.

연구 동기 및 목표

• 연구를 위해 대규모, 다양한 종류의, 정확하게 애너테이션 처리된 친족 이미지 데이터셋이 부족한 문제를 해결하기 위해.
• 친족 인식 시스템의 강력한 평가를 가능하게 하기 위해 친족 확인 및 가족 인식에 대한 포괄적인 벤치마크를 제공하기 위해.
• 대규모 데이터와 딥 러닝의 미세조정을 통해 친족 인식 작업의 성능을 향상시키기 위해.
• 가족 기반 사진 관리, 가족 연혁 연구, 감시 시스템과 같은 실생활 응용을 지원하기 위해.

제안 방법

• 저자들은 전 세계의 1,000개의 다양한 가정에서 나이, 민족, 가족 구조의 다양성을 확보하면서 11,163장의 자유로운 환경의 가족 사진을 수집하였다.
• 1,000개의 가계도에서 복잡한 계층적 가족 관계와 지역적 얼굴 특징을 효율적으로 레이블링하기 위해 맞춤형 애너테이션 툴을 개발하였다.
• 친족 확인을 위해, 11종류의 관계 유형에 걸쳐 총 418,060개의 이미지 쌍에서 사전 훈련된 VGG-Face CNN을 트리플릿 손실을 사용하여 미세조정하였다.
• 가족 인식을 위해, 동일한 모델의 최종 레이어를 316개의 가정에 특화된 소프트맥스 분류기로 교체하여 미세조정하였다.
• 가족 간의 오버랩이 없는 5겹 교차검증을 실시하였고, 주성분 분석(PCA)을 통해 특징 차원을 100D로 감소시켰다.
• 다양한 시각적 특징(SIFT, LBP, VGG-Face)과 메트릭 학습 방법(NRML, ITML)을 평가하였으며, 분류에 코사인 유사도와 SVM을 사용하였다.

실험 결과

연구 질문

• RQ1 대규모, 다양한 종류, 정확한 애너테이션 처리가 된 데이터셋이 기존의 작은 데이터셋에 비해 친족 인식 모델의 성능을 향상시킬 수 있는가?
• RQ2 FIW에서 사전 훈련된 CNN을 미세조정하면 수작업 특징 및 메트릭 학습 기반 모델에 비해 친족 확인 및 가족 인식에서 유의미하게 뛰어난 성능을 내는가?
• RQ3 특히 부족한 샘플 수를 가진 관계 유형들, 예를 들어 조부모-자식 관계와 같은 경우, 친족 인식 작업에서 어떻게 성능을 내는가?
• RQ4 자연 환경에서의 데이터 양과 다양성이 모델의 일반화 능력과 내성 강도를 얼마나 향상시키는가?
• RQ5 트리플릿 손실과 가정 전용 분류기를 사용한 엔드 투 엔드 딥 러닝의 미세조정이 대규모 친족 인식 벤치마크에서 최신 기술 성능을 달성할 수 있는가?

주요 결과

• 트리플릿 손실을 사용하여 사전 훈련된 VGG-Face CNN을 미세조정함으로써, 수작업 특징 및 메트릭 학습 방법에 비해 친족 확인 정확도가 향상되었으며, FIW 벤치마크에서 최고의 성능을 기록하였다.
• 모든 11종류의 관계 유형에서 VGG-Face 특징 추출기가 SIFT 및 LBP 특징보다 뛰어난 성능을 보였으며, 이는 깊이 학습된 특징이 친족 인식에 더 우수함을 입증하였다.
• 316개의 가정으로 구성된 테스트 세트에서 가족 인식 정확도가 VGG-Face 기반 모델의 12.3%에서 미세조정된 모델의 13.3%로 상승하여 도메인 특화형 미세조정의 이점이 확인되었다.
• 조부모-자식 쌍의 정확도가 부모-자식 쌍보다 높았는데, 이는 FIW 데이터셋에서 더 큰 학습 샘플 수가 반영된 것으로 보인다.
• 5겹 교차검증 결과, 미세조정으로 인한 성능 향상이 일관되게 나타났으며, 각 폴드 간 표준편차가 1.6%로 안정적인 성능 향상을 보였다.
• FIW 데이터셋은 총 11종류의 관계 유형에 걸쳐 418,060개의 이미지 쌍을 포함하고 있으며, 다음으로 큰 데이터셋인 Family101보다 약 10배 더 크다.