[논문 리뷰] Learning Face Representation from Scratch

Yi Dong, Zhen Lei외 2명|arXiv (Cornell University)|2014. 11. 28.

Face recognition and analysis참고 문헌 21인용 수 1,651

한 줄 요약

이 논문은 웹 크롤링 및 클러스터링 파이프라인을 통해 수집된 10,000명의 주제에서 약 500,000장의 이미지를 포함하는 대규모 공개 얼굴 데이터셋인 CASIA-WebFace를 소개한다. 이 데이터셋을 사용하여 저자들은 LFW(99.16% 정확도, BLUFR 프로토콜 기준)와 YTF(92.24% 정확도)에서 최신 기술을 초월하는 성능을 기록한 11층의 CNN을 훈련시켰으며, 감독 학습 설정에서 DeepFace와 DeepID2를 능가하였다.

ABSTRACT

Pushing by big data and deep convolutional neural network (CNN), the performance of face recognition is becoming comparable to human. Using private large scale training datasets, several groups achieve very high performance on LFW, i.e., 97% to 99%. While there are many open source implementations of CNN, none of large scale face dataset is publicly available. The current situation in the field of face recognition is that data is more important than algorithm. To solve this problem, this paper proposes a semi-automatical way to collect face images from Internet and builds a large scale dataset containing about 10,000 subjects and 500,000 images, called CASIAWebFace. Based on the database, we use a 11-layer CNN to learn discriminative representation and obtain state-of-theart accuracy on LFW and YTF. The publication of CASIAWebFace will attract more research groups entering this field and accelerate the development of face recognition in the wild.

연구 동기 및 목표

• 공개된 대규모 얼굴 데이터셋의 부족으로 인해 재현 가능하고 공정한 얼굴 인식 알고리즘 비교가 어려운 문제를 해결하기 위해.
• IMDb의 구조화된 데이터와 클러스터링 기법을 활용하여 웹 기반 얼굴 이미지를 수집하고 레이블을 붙이는 확장 가능한 반자동 파이프라인을 개발하기 위해.
• 야생 환경에서의 깊은 CNN을 위한 얼굴 표현 학습을 가능하게 하는 대규모이고 상호 간섭이 없는 훈련 데이터셋을 구축하기 위해.
• LFW와 YTF에서 평가 프로토콜을 표준화하여 공정하고 비교 가능한 연구를 촉진하기 위해 공개 벤치마크 데이터셋을 제공하기 위해.
• 기존 방법들을 능가하는 성능을 보이는 고성능의 깊은 CNN 베이스라인을 CASIA-WebFace에서 훈련시켜 표준 벤치마크에서의 성능을 향상시키기 위해.

제안 방법

• IMDb의 이름을 쿼리로 사용하여 연예인 이미지를 크롤링하고, 사이트의 구조화된 메타데이터를 활용해 이미지 URL를 추출하였다.
• 멀티퍼스널 이미지 내의 얼굴를 클러스터링 알고리즘을 적용하여 그룹화하고, 이름의 동시 출현 및 근접도를 기반으로 신원 레이블을 할당하였다.
• 이름 간 편집 거리(Levenshtein distance)를 적용하여 LFW와 잠재적인 오버랩을 탐지하고 제거함으로써 데이터셋의 독립성을 확보하였다.
• 레이블 정확도 향상을 위해 수동으로 레이블 검증 및 수정을 수행하였다.
• ReLU, 드롭아웃 및 통합 식별/검증 손실 함수를 사용한 11층의 깊은 합성곱 신경망을 훈련시켰다.
• 학습된 특징을 사용하여 LFW(표준 및 BLUFR 프로토콜)와 YTF에서 평가를 수행하였으며, 코사인 유사도와 PCA 또는 Joint Bayes를 활용한 후처리를 적용하였다.

실험 결과

연구 질문

• RQ1 반자동 파이프라인이 인간의 노력 최소화로 웹에서 대규모이고 다양한 얼굴 이미지를 효과적으로 수집하고 레이블을 붙일 수 있는가?
• RQ2 CASIA-WebFace와 같은 공개적이며 오버랩이 없는 얼굴 데이터셋을 통해 야생 환경에서의 일반화 성능이 뛰어난 깊은 CNN을 훈련시킬 수 있는가?
• RQ3 CASIA-WebFace에서 훈련된 깊은 CNN은 DeepFace나 DeepID2와 같은 최신 기술 모델에 비해 제약이 없는 얼굴 인식 작업에서 정확도와 내구성 측면에서 어떻게 비교되는가?
• RQ4 CASIA-WebFace에서의 표현 학습은 감시 응용 프로그램에서 중요한 낮은 가짜 경고 비율 환경에서 성능 향상에 어느 정도 기여하는가?
• RQ5 단일의 깊은 네트워크를 CASIA-WebFace에서 훈련시켜 간단한 후처리 기법과 조합했을 때 앙상블 모델과 유사한 성능을 달성할 수 있는가?

주요 결과

• 제안된 반자동 파이프라인이 최소한의 수동 작업으로 10,000명의 주제에서 50만 장의 얼굴 이미지를 성공적으로 수집하여 고품질이며 오버랩이 없는 데이터셋을 구축하였다.
• CASIA-WebFace에서 훈련된 11층의 CNN은 BLUFR 프로토콜 기준 LFW에서 99.16%의 정확도를 기록하였으며, HD-LBP 기반 방법(0.1% FAR에서 41.66% VR)에 비해 뚜렷한 승리를 거두었다.
• YTF 데이터셋에서 모델은 감독 학습 설정에서 92.24%의 정확도를 기록하였으며, Joint Bayes 후처리를 적용했을 때 DeepFace(91.4%)를 능가하였다.
• YTF에서 PCA와 Joint Bayes 후처리의 성능 향상 효과는 뚜렷했으며, 코사인 유사도만 사용했을 때의 88.00%에서 92.24%로 정확도가 상승하였다.
• 결과적으로 깊은 모델이 HD-LBP와 같은 넓은 모델보다 특히 감시 응용 프로그램에서 중요한 낮은 가짜 경고 비율 영역에서 뛰어난 성능을 보임을 입증하였다.
• CASIA-WebFace의 공개로 인해 공정하고 재현 가능한 벤치마크 평가가 가능해졌으며, 제약이 없는 얼굴 인식 분야의 연구를 가속화하였다.