[논문 리뷰] MegaFace: A Million Faces for Recognition at Scale

Daniel Miller, Brossard, E.외 2명|arXiv (Cornell University)|2015. 05. 08.

Face recognition and analysis참고 문헌 27인용 수 44

한 줄 요약

이 논문은 플리커에서 확보한 100만 장의 자유로운 조건의 실제 얼굴 이미지를 포함하는 대규모 벤치마크인 MegaFace를 소개한다. 이는 행성 규모의 얼굴 인식 알고리즘 평가를 위해 제작되었으며, 대부분의 알고리즘이 대규모 조건에서 성능이 급격히 떨어지는 반면, 구글의 FaceNet은 강력한 성능을 유지함을 드러낸다 (100만 명의 배경 얼굴이 있는 상황에서 순위 1 인식 정확도 75%). 이는 인간의 성능(동일 조건에서 순위 1 정확도 23.9%)을 뛰어넘는 결과이다.

ABSTRACT

Recent face recognition experiments on the LFW benchmark show that face recognition is performing stunningly well, surpassing human recognition rates. In this paper, we study face recognition at scale. Specifically, we have collected from Flickr a extbf{Million} faces and evaluated state of the art face recognition algorithms on this dataset. We found that the performance of algorithms varies--while all perform great on LFW, once evaluated at scale recognition rates drop drastically for most algorithms. Interestingly, deep learning based approach by \cite{schroff2015facenet} performs much better, but still gets less robust at scale. We consider both verification and identification problems, and evaluate how pose affects recognition at scale. Moreover, we ran an extensive human study on Mechanical Turk to evaluate human recognition at scale, and report results. All the photos are creative commons photos and is released at \small{\url{http://megaface.cs.washington.edu/}} for research and further experiments.

연구 동기 및 목표

• 최신 얼굴 인식 알고리즘의 LFW 벤치마크를 초월한 확장성 평가
• 연구를 위해 사용 가능한 대규모, 자유로운 조건의 실제 얼굴 데이터셋 구축
• 특히 높은 수준의 배경 얼굴이 존재하는 조건에서 인간의 얼굴 인식 성능을 대규모로 측정
• 자세의 변화가 대규모 설정에서 인식 정확도에 미치는 영향 분석
• 훈련 및 테스트 분할을 포함한 표준화된 벤치마크 제공로 다양한 방법 간 공정한 평가 보장

제안 방법

• 플리커의 크리에이티브 커먼즈 100만 장 사진 컬렉션에서 100만 장의 얼굴을 수집하여 다양한 자유로운 조건 확보
• 100만 명의 배경 얼굴이 포함된 대규모 얼굴 인식 벤치마크를 구축하고, 공정한 평가를 위해 훈련 및 테스트 세트를 분리
• 알고리즘의 성능 평가를 위해 검증(쌍별 매칭) 및 인식(순위 1 및 순위 10) 작업 모두 수행
• 아마존 메카니컬 터크를 통해 대규모 인간 실험 실시. 참가자들은 각 프로브에 대해 1만 명의 배경 얼굴 중에서 정답을 식별
• 다양한 수의 배경 얼굴이 존재할 경우의 성능 측정을 위해 누적 매칭 특성(CMC) 및 수신기 작동 특성(ROC) 곡선 사용
• 프로브와 갤러리 이미지 간의 요 각도 차이에 따른 인식 정확도 측정을 통해 자세의 영향 분석

실험 결과

연구 질문

• RQ1 현재의 얼굴 인식 알고리즘이 100만 명의 배경 얼굴에 대비해 어떻게 성능을 발휘하는가?
• RQ2 대규모 조건에서 인간의 얼굴 인식 성능는 기계 학습 모델과 비교해 어떻게 되는가?
• RQ3 자세의 변화가 대규모 설정에서 인식 정확도에 어떤 영향을 미치는가?
• RQ4 대규모 조건에서 검증 작업과 인식 작업 간 알고리즘 성능는 어떻게 다름?
• RQ5 데이터셋 편향(예: 정방향 대비 비정방향 이미지)이 인식 성능에 어떤 영향을 미치는가?

주요 결과

• FaceNet은 100만 명의 배경 얼굴이 존재하는 조건에서 순위 1 인식 정확도 75%를 기록하여 다른 알고리즘을 크게 앞서나갔다.
• 대부분의 딥러닝 기반 외 알고리즘은 100만 명의 배경 얼굴로 확장될 경우 성능 저하가 70% 이상 발생했다.
• 인간은 1만 명의 배경 얼굴이 존재하는 조건에서 순위 1 인식 정확도 23.9%를 기록하여, 대규모 조건에서 인간의 인식 성능가 급격히 떨어지는 것으로 나타났다.
• 프로브와 갤러리 이미지 간의 요 각도 차이가 커질수록 인식 성능가 감소함을 확인하여, 교차 자세 매칭 문제는 여전히 도전 과제임을 입증함.
• 공동 베이지안 방법은 배경 얼굴이 정방향 자세일 경우(요 각도 < 2°) 성능이 떨어졌으며, 이는 자세 편향이 알고리즘 성능에 영향을 미칠 수 있음을 시사함.
• FaceNet과 공동 베이지안 모두 다양한 데이터베이스 크기에서 검증 성능가 안정적으로 유지되어 쌍별 매칭에서 강건함을 입증함.