[논문 리뷰] Leveraging Billions of Faces to Overcome Performance Barriers in Unconstrained Face Recognition

Yaniv Taigman, Lior Wolf|arXiv (Cornell University)|2011. 08. 04.

Face recognition and analysis참고 문헌 10인용 수 41

한 줄 요약

이 논문은 face.com 데이터베이스의 수십억 개의 얼굴을 활용하여 LFW 벤치마크에서 데이터셋 특화 캘리브레이션 없이 최신 기술 수준의 성능을 달성하는 얼굴 인식 시스템을 제시한다. 실시간 3D 얼굴 재구성 기술을 통해 자세 및 조명 정규화를 수행하고, 거대한 데이터로 훈련된 분류 모델을 조합함으로써 시스템은 91.3%의 정확도와 0%의 가짜 양성률에서 거의 두 배에 가까운 재현율(55.2%)을 달성하여, 가장 엄격한 성능 범주에서 이전 연구를 크게 능가한다.

ABSTRACT

We employ the face recognition technology developed in house at face.com to a well accepted benchmark and show that without any tuning we are able to considerably surpass state of the art results. Much of the improvement is concentrated in the high-valued performance point of zero false positive matches, where the obtained recall rate almost doubles the best reported result to date. We discuss the various components and innovations of our system that enable this significant performance gap. These components include extensive utilization of an accurate 3D reconstructed shape model dealing with challenges arising from pose and illumination. In addition, discriminative models based on billions of faces are used in order to overcome aging and facial expression as well as low light and overexposure. Finally, we identify a challenging set of identification queries that might provide useful focus for future research.

연구 동기 및 목표

• 극도로 제약이 없는 환경에서의 얼굴 인식 성능 장벽을 극복하기 위해, 특히 극단적인 자세, 조명, 노화, 표정 변화에 대응하는 것.
• 대규모 데이터와 고급 3D 모델링이 데이터셋 특화 캘리브레이션 없이도 인식 정확도를 크게 향상시킬 수 있음을 입증하는 것.
• 잘못 분류된 쌍의 어려운 케이스를 식별하고 공개하여 향후 연구에 도움이 되는 자료를 제공하는 것.
• 0%의 가짜 양성률에서 재현율을 거의 두 배로 높임으로써 고정밀도 얼굴 인식의 새로운 기준을 설정하는 것.

제안 방법

• 310억 장의 얼굴 이미지로 훈련된 실시간 3D 얼굴 재구성 엔진을 활용하여 단일 제약 없는 이미지에서 정확한 3D 모델을 생성한다.
• 3D 기반 정규화를 적용하여 비면대칭적이고 어두운 이미지를 일관된 조명 조건을 갖춘 정면 시점으로 변환한다.
• 수십만 개의 얼굴 예제로 훈련된 비모수적 분류 모델을 사용하여 노화, 표정, 조명 변화에 강인한 특징을 학습한다.
• 거대한 얼굴 레포지토리에서 예시 기반 특징 학습을 통해 探침을 분류하고 인종, 연령 등의 속성을 추정한다.
• 3D 모델의 회전을 통해 시점 정규화를 수행하여 2D 이미지 왜곡에 의존하지 않는다.
• 추정된 조명 파rameter를 사용하여 3D 모델을 재조명하여 이미지 간 조명 조건을 표준화한다.

실험 결과

연구 질문

• RQ1 수십억 개의 제약 없는 얼굴 이미지로 훈련된 얼굴 인식 시스템이 데이터셋 특화 캘리브레이션 없이도 LFW에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ2 3D 얼굴 재구성이 제약 없는 얼굴 인식에서 자세 및 조명 변화를 얼마나 효과적으로 완화하는가?
• RQ3 거대한 데이터셋으로 훈련된 분류 모델이 노화와 표정 변화에 대해 얼마나 강건한 불변성을 학습할 수 있는가?
• RQ4 심지어 고성능 시스템에서도 여전히 어려운 것으로 남아 있는 얼굴 인식 케이스는 무엇인가?
• RQ5 선택된 하드 음성 쌍 목록이 미래 연구에서 가장 지속적인 실패 원인에 집중하는 데 도움이 될 수 있는가?

주요 결과

• 시스템은 제약 없는 LFW 벤치마크에서 평균 정확도 91.3% ± 0.3을 달성하여 이전에 보고된 모든 결과를 뛰어넘었다.
• 가짜 양성률이 0%인 조건에서 진짜 양성률(재현율)이 55% 이상을 기록하여, 이 엄격한 성능 범주에서 이전 최고 성능의 거의 두 배에 가까운 성능을 보였다.
• 시스템은 LFW 데이터셋의 레이블링 오류를 발견하여, 이전에 잘못 레이블링된 두 명의 Jim O’Brien을 정확히 구분했다.
• 시스템의 성능 격차는 가짜 양성률이 낮은 영역에서 가장 두드러지게 나타나, 고보안 응용 분야에서 강력한 내성성을 보여준다.
• 6,000개의 유사도 점수와 일부 잘못 분류된 쌍의 하위 집합을 공개함으로써 제약 없는 얼굴 인식에서 어려운 케이스를 연구하는 데 유용한 자원을 제공했다.
• 3D 재구성 엔진은 저해상도이거나 제약 있는 이미지에서도 정확한 자세 보정과 조명 정규화를 가능하게 하여 그림 2–5에서 이를 입증했다.