[논문 리뷰] Do We Really Need to Collect Millions of Faces for Effective Face Recognition?

Iacopo Masi, Anh Tran외 3명|arXiv (Cornell University)|2016. 03. 23.

Face recognition and analysis참고 문헌 32인용 수 71

한 줄 요약

이 논문은 기존의 얼굴 데이터셋을 활용해 자세, 형태, 표정 등의 다양한 얼굴 변형을 합성함으로써 수백만 장의 실재 이미지를 수집할 필요 없이 도메인 특화된 데이터 증강 기법을 제안한다. 합성된 증강 데이터로 훈련한 방법은 LFW, IJB-A, CS2 벤치마크에서 최신 기술 수준의 얼굴 인식 성능를 달성하며, 실재 이미지 200만 장으로 훈련된 모델과 동일한 성능을 495만 장의 원본 이미지로도 달성한다.

ABSTRACT

Face recognition capabilities have recently made extraordinary leaps. Though this progress is at least partially due to ballooning training set sizes -- huge numbers of face images downloaded and labeled for identity -- it is not clear if the formidable task of collecting so many images is truly necessary. We propose a far more accessible means of increasing training data sizes for face recognition systems. Rather than manually harvesting and labeling more faces, we simply synthesize them. We describe novel methods of enriching an existing dataset with important facial appearance variations by manipulating the faces it contains. We further apply this synthesis approach when matching query images represented using a standard convolutional neural network. The effect of training and testing with synthesized images is extensively tested on the LFW and IJB-A (verification and identification) benchmarks and Janus CS2. The performances obtained by our approach match state of the art results reported by systems trained on millions of downloaded images.

연구 동기 및 목표

• 깊이 학습된 얼굴 인식 모델을 훈련하기 위해 수백만 장의 실재 얼굴 이미지를 수집하는 것이 진정으로 필수적인가를 조사하는 것.
• 훈련 데이터에서 내부 클래스의 얼굴 변형(예: 자세, 표정, 형태)을 확보하는 데 도전하는 것.
• 기존 데이터셋에서부터 현실적인 얼굴 변형을 생성하는 도메인 특화된 데이터 증강 방법을 제안하는 것.
• 테스트 시점에 동일한 합성 기법을 적용하여 견고한 크로스-자세 인식을 가능하게 하는 매칭 파이프라인을 개발하는 것.
• 합성 데이터가 막대한 실재 세계 데이터셋으로 훈련된 모델의 성능을 따라하거나 뛰어넘을 수 있는가를 입증하는 것.

제안 방법

• 저자들은 CASIA WebFace 데이터셋(495만 장의 이미지)을 활용하여 도메인 특화된 이미지 편집 기법을 사용해 자세, 얼굴 형태, 표정에 대한 제어된 변형을 가진 새로운 이미지를 합성함으로써 데이터를 증강한다.
• 자세 변형은 기존 이미지에 3D 모형 얼굴 모델 기반 변환을 적용하여 다양한 머리 각도를 시뮬레이션함으로써 생성된다.
• 얼굴 형태 변형은 3D 얼굴 모델의 신원 특화 구성 요소를 수정하여 주어진 주체의 신원을 유지하면서 기하학적 형태를 변경함으로써 도입된다.
• 표정 변형은 신원을 변경하지 않은 채로 얼굴 랜드마크를 변형시켜 미소, 찡그림 등 다양한 표정을 시뮬레이션함으로써 합성된다.
• 새로운 테스트 시점 매칭 파이프라인은 쿼리 이미지에 동일한 합성 기법을 적용하여 자세나 표정 변화에 대비한 견고한 인식을 가능하게 한다.
• 이 방법은 증강된 데이터셋으로 단일 CNN을 훈련시키며, 표준 벤치마크인 LFW, IJB-A(검증 및 식별), Janus CS2에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 딥 러닝 기반 얼굴 인식 모델 훈련을 위해 수백만 장의 실재 얼굴 이미지를 수집하는 것이 진정으로 필수적인가?
• RQ2 도메인 특화된 데이터 증강 기법이 웹 스크래핑으로는 어려운 내부 클래스의 얼굴 변형을 효과적으로 포괄할 수 있는가?
• RQ3 작은 증강 데이터셋으로 훈련된 얼굴 인식 시스템이 막대한 실재 데이터셋으로 훈련된 최신 기술 수준의 모델과 동등한 성능을 달성할 수 있는가?
• RQ4 테스트 시점의 합성 기법이 추론 과정에서 자세나 표정 변화에 대한 견고성을 어떻게 향상시키는가?
• RQ5 다양한 종류의 합성 변형(자세, 형태, 표정)이 전체 인식 정확도에 기여하는 상대적 기여도는 얼마인가?

주요 결과

• 자세, 형태, 표정을 합성한 경우, LFW 검증 벤치마크에서 EER 100% - 98.00%를 달성하며, 수백만 장의 실재 이미지로 훈련된 모델과 동일하거나 뛰어난 성능을 보였다.
• 원본 이미지 495만 장과 합성 이미지 247만 장만으로도 LFW에서 98.06%의 정확도를 달성하여, 260만 장의 실재 이미지로 훈련된 VGG-Face(97.35% 정확도)를 뛰어넘고, FaceNet의 99.63% 정확도에 근접했다.
• 제거 분석 결과, 자세 변형만 추가해도 정확도가 95.31%에서 97.01%로 향상되었으며, 형태와 표정을 추가로 더하면 정확도가 98.06%로 더욱 향상됨을 확인했다.
• 심지어 훨씬 적은 실재 데이터를 사용했음에도 불구하고, DeepFace(97.35% 정확도)와 Fusion(98.37% 정확도)를 모두 뛰어넘었다.
• FaceNet(99.63% 정확도)와 같은 최고 수준의 모델과의 성능 격차는 미미하여, 합성 데이터가 대규모 데이터 수집을 효과적으로 대체할 수 있음을 시사한다.
• 결과적으로 도메인 특화된 데이터 증강 기법이 수백만 장의 실재 이미지를 수확하고 레이블링하는 것보다 더 접근 가능하고 효율적인 대안임을 입증했다.