[논문 리뷰] The Devil of Face Recognition is in the Noise

Fei Wang, Liren Chen외 5명|arXiv (Cornell University)|2018. 07. 31.

Face recognition and analysis참고 문헌 21인용 수 23

한 줄 요약

이 논문은 대규모 얼굴 인식 데이터셋에서 레이블 노이즈의 영향을 조사하며, 영화 포스터와 스크린샷에서 유래한 정제된 대규모 IMDb-Face 데이터셋을 제안한다. 광범위한 수작업 정제와 사용자 연구를 통해 저자들은 깨끗한 데이터로 훈련된 모델이 훨씬 높은 정확도를 달성함을 보여주며, 예를 들어 IMDb-Face는 LFW, MegaFace, YTF에서 최신 기술 수준의 성능을 달성한다. 이는 모델 아키텍처만큼이나 데이터 품질이 얼굴 인식에서 핵심적임을 입증한다.

ABSTRACT

The growing scale of face recognition datasets empowers us to train strong convolutional networks for face recognition. While a variety of architectures and loss functions have been devised, we still have a limited understanding of the source and consequence of label noise inherent in existing datasets. We make the following contributions: 1) We contribute cleaned subsets of popular face databases, i.e., MegaFace and MS-Celeb-1M datasets, and build a new large-scale noise-controlled IMDb-Face dataset. 2) With the original datasets and cleaned subsets, we profile and analyze label noise properties of MegaFace and MS-Celeb-1M. We show that a few orders more samples are needed to achieve the same accuracy yielded by a clean subset. 3) We study the association between different types of noise, i.e., label flips and outliers, with the accuracy of face recognition models. 4) We investigate ways to improve data cleanliness, including a comprehensive user study on the influence of data labeling strategies to annotation accuracy. The IMDb-Face dataset has been released on https://github.com/fwang91/IMDb-Face.

연구 동기 및 목표

• MegaFace 및 MS-Celeb-1M과 같은 대규모 얼굴 인식 데이터셋에서 레이블 노이즈의 원인과 영향을 이해하기 위해.
• 사용자 연구를 통해 노이즈가 있는 얼굴 인식 데이터셋을 체계적으로 정제하고 애너테이션 정확도를 향상시키는 방법을 개발하기 위해.
• 기준이 되는 대규모, 노이즈 제어가 가능한 얼굴 인식 데이터셋(IMDb-Face)을 구축하기 위해.
• 레이블 뒤집힘과 이상치와 같은 다양한 노이즈 유형이 모델 성능과 훈련 효율성에 미치는 영향을 평가하기 위해.
• 아키텍처적 혁신과 동일한 성능 향상을 데이터 청소만으로도 달성할 수 있음을 입증하기 위해.

제안 방법

• MegaFace 및 MS-Celeb-1M의 수작업 정제된 서브셋을 통해 잘못 레이블링된 신원과 중복된 이미지를 식별하고 수정함.
• IMDb-Face를 구축하여, IMDb 영화 포스터와 스크린샷에서 유래한 170만 장의 이미지와 59,000명의 유명인을 포함시키며, 높은 시각적 다양성과 낮은 노이즈를 확보함.
• 애너테이션 시간과 레이블 정확도 간의 관계를 분석하기 위해 종합적인 사용자 연구를 수행함. 이 연구에서 시간은 오류 감소의 핵심 요소로 규명됨.
• 실제 레이블 손상 상황을 시뮬레이션하기 위해 IMDb-Face에 제어된 노이즈를 주입하여 다양한 노이즈 수준에서 모델의 강건성 평가함.
• 표준 손실 함수(Softmax, Center Loss, A-Softmax)를 사용하여 원본 및 정제된 데이터셋에서 얼굴 인식 모델을 훈련하고 성능을 비교함.
• 표준 프rotocol에 따라 LFW, MegaFace, YTF와 같은 벤치마크 데이터셋을 사용하여 모델의 일반화 능력과 최신 기술 수준의 성능을 평가함.

실험 결과

연구 질문

• RQ1 MegaFace 및 MS-Celeb-1M과 같은 대규모 얼굴 인식 데이터셋에서의 레이블 노이즈가 모델 정확도와 훈련 효율성에 미치는 영향은 무엇인가?
• RQ2 레이블 뒤집힘과 이상치와 같은 다양한 노이즈 유형이 얼굴 인식 모델의 성능 저하에 미치는 영향은 무엇인가?
• RQ3 데이터 소스(예: 검색 엔진 대비 체계적으로 정제된 미디어인 IMDb)가 얼굴 인식 데이터셋의 내재된 노이즈 수준과 품질에 미치는 영향은 무엇인가?
• RQ4 비용과 시간을 고려할 때, 어떤 애너테이션 전략이 레이블 정확도를 최대화하는가?
• RQ5 아키텍처나 손실 함수 혁신 없이도 데이터 청소만으로 얼마나 높은 성능 향상을 달성할 수 있는가?

주요 결과

• 정제된 MegaFace 서브셋의 32%만으로 훈련된 모델이 전체 노이즈가 있는 데이터셋으로 훈련된 모델와 유사한 성능을 달성함.
• 정제된 MS-Celeb-1M 서브셋의 20%만으로 훈련된 모델이 전체 노이즈가 있는 버전으로 훈련된 모델와 동일한 정확도를 달성함. 이는 노이즈가 있는 데이터는 동등한 성능를 달성하기 위해 수십 배에서 수백 배 이상의 샘플이 필요함을 시사함.
• IMDb-Face 데이터셋은 크기가 더 작지만(170만 장), A-Softmax 손실 함수를 사용할 때 전체 MS-Celeb-1M 데이터셋보다 MegaFace 벤치마크에서 1.1% 높은 Rank-1 정확도를 달성함.
• IMDb-Face로 훈련된 최신 기술 수준의 모델은 LFW에서 99.79%의 EER을 기록하여, 공개된 단일 모델 방법 중 어떤 것보다도 뛰어난 성능을 보임.
• 애너테이션 정확도는 이미지당 소요 시간과 강하게 상관되며, 더 오랜 시간을 할애할수록 오류가 줄고 데이터 품질이 향상됨을 시사함.
• 얼굴 인식 모델은 이상치(해당 신원에 속하지 않는 이미지)보다 레이블 뒤집힘(잘못된 신원 할당)에 더 민감하며, 노이즈가 증가함에 따라 성능 저하가 비선형적으로 악화됨.