[논문 리뷰] Web-Scale Training for Face Identification

Yaniv Taigman, Ming Yang외 2명|arXiv (Cornell University)|2014. 06. 20.

Face recognition and analysis참고 문헌 22인용 수 13

한 줄 요약

이 논문은 대규모 데이터셋에서 성능 포화 현상이 발생하는 것을 완화하기 위해 무작위 서브샘플링을 대체하는 부트스트래핑 기반 학습 전략을 제안한다. 웹 스케일 데이터를 활용하고 표현 노름을 최적화함으로써, LFW 검증 및 1:N 식별 벤치마크에서 최신 기술 수준의 성능을 달성하며, 1,000인의 갤러리에서 66.5%의 랭크-1 정확도로 처음으로 상용 시스템을 직접 초월한다.

ABSTRACT

Scaling machine learning methods to very large datasets has attracted considerable attention in recent years, thanks to easy access to ubiquitous sensing and data from the web. We study face recognition and show that three distinct properties have surprising effects on the transferability of deep convolutional networks (CNN): (1) The bottleneck of the network serves as an important transfer learning regularizer, and (2) in contrast to the common wisdom, performance saturation may exist in CNN's (as the number of training samples grows); we propose a solution for alleviating this by replacing the naive random subsampling of the training set with a bootstrapping process. Moreover, (3) we find a link between the representation norm and the ability to discriminate in a target domain, which sheds lights on how such networks represent faces. Based on these discoveries, we are able to improve face recognition accuracy on the widely used LFW benchmark, both in the verification (1:1) and identification (1:N) protocols, and directly compare, for the first time, with the state of the art Commercially-Off-The-Shelf system and show a sizable leap in performance.

연구 동기 및 목표

• 현재 스케일을 초월해 학습 데이터 크기가 증가함에 따라 깊이 있는 얼굴 인식에서 성능 포화 현상이 발생하는 문제를 해결하기 위해.
• 네트워크 복잡도를 정규화 요소로 재고함으로써 전이 학습의 일반화 성능을 향상시키기 위해.
• 실제 1:N 식별 벤치마크에서 학술 모델과 상용 제품(Commercial-Off-The-Shelf, COTS) 시스템 간 직접 비교를 가능하게 하기 위해.
• 표현 노름, 이미지 품질, 분류 신뢰도 간의 관계를 탐구하기 위해.
• 효율적인 비균일 샘플링 전략을 사용해 수십억 장의 이미지로 깊이 있는 얼굴 인식을 확장하기 위해.

제안 방법

• 학습 중에 분류가 어려운 샘플을 우선순위로 삼는 부트스트래핑 절차를 표준 무작위 서브샘플링 대신 적용한다.
• 전이 학습에서 특이성과 일반화 간 균형을 이루기 위해 딥 네트워크의 복잡도 레이어를 정규화 요소로 활용한다.
• 낮은 가짜 경고 비율(FAR) 조건에서 분류 성능을 향상시키기 위해 1024+ 차원 표현 레이어를 최적화한다.
• 표현 노름을 측정하고, 검색 성공률 및 분류 신뢰도와의 상관관계를 분석한다.
• 1억 장 이상의 이미지와 수백만 명의 신원을 포함한 웹 스케일 데이터셋을 사용하여, DeepFace 아키텍처의 수정된 버전을 기반으로 학습한다.
• 1% 및 0.1% FAR 조건에서 랭크-1 정확도와 DIR을 기준으로 내부 10,000인 검증 세트를 활용해 모델 선택을 수행한다.

실험 결과

연구 질문

• RQ1 학습 데이터 크기가 증가함에 따라 깊이 있는 얼굴 인식에서 성능 포화 현상이 발생하는가? 만약 그렇다면 이를 어떻게 완화할 수 있는가?
• RQ2 딥 컨volution 네트워크의 복잡도 레이어가 전이 학습에서 얼굴 인식에 정규화 요소로 기능하는 방식은 무엇인가?
• RQ3 표현 노름, 이미지 품질, 분류 신뢰도 간의 관계는 얼굴 임베딩에서 어떻게 나타나는가?
• RQ4 부트스트래핑 기반 샘플링 전략은 무작위 서브샘플링 대비 1:N 얼굴 식별 성능 향상에 기여하는가?
• RQ5 제안된 방법은 실제 1:N 식별 벤치마크에서 상용 제품(COTS) 시스템과 비교해 어떻게 성능를 발휘하는가?

주요 결과

• 제안된 부트스트래핑 방법은 1:N LFW 벤치마크에서 82.5%의 랭크-1 정확도를 달성하여 COTS 시스템의 56.7%를 크게 상회한다.
• 1024+ 표현 레이어는 0.1% FAR 조건에서 DIR을 46.97%로 향상시켜 4096D 기준선(37.79%) 대비 상당한 성능 향상을 이룬다.
• 표현 노름과 검색 성공률 간에 강한 음의 상관관계(ρ = -0.251)가 존재하여, 낮은 노름이 분류 성능 향상에 기여함을 시사한다.
• 압축된 256D 표현은 4096D 초기 표현보다 더 우수한 일반화 성능을 보이며, 랭크-1 정확도 70.60%를 달성한다.
• 이 방법을 통해 학술 모델과 COTS 시스템 간의 첫 번째 직접 비교가 가능해졌으며, 상용 시스템을 뛰어넘는 성능 향상을 확인할 수 있었다.
• 일정 규모 이상의 데이터에서 성능 포화 현상이 관찰되었고, 하드 샘플에 집중하는 부트스트래핑 전략이 이 문제를 효과적으로 완화함을 입증하였다.