[논문 리뷰] A Good Practice Towards Top Performance of Face Recognition: Transferred Deep Feature Fusion

Lin Xiong, Karlekar Jayashree외 6명|arXiv (Cornell University)|2017. 04. 03.

Face recognition and analysis참고 문헌 45인용 수 28

한 줄 요약

이 논문은 도전적인 IJB-A 데이터셋에서 최상위 수준의 얼굴 인식 성능를 달성하기 위한 통합 프레임워크인 전이된 딥 페처 퓨전(Transferred Deep Feature Fusion, TDFF)을 제안한다. 대규모 소스 데이터셋에서 훈련된 두 가지 서로 다른 딥 컨volution 네트워크를 활용한 전이 학습을 통해 특징과 매칭 점수를 다중 템플릿에서 서포트 벡터 머신(SVM)을 이용해 융합함으로써, TDFF는 최신 기술 수준의 성능을 달성하여 IJB-A에서 0.1% FAR 시 97.9% TAR과 99.2% CMC 랭크-1 성능을 기록한다.

ABSTRACT

Unconstrained face recognition performance evaluations have traditionally focused on Labeled Faces in the Wild (LFW) dataset for imagery and the YouTubeFaces (YTF) dataset for videos in the last couple of years. Spectacular progress in this field has resulted in saturation on verification and identification accuracies for those benchmark datasets. In this paper, we propose a unified learning framework named Transferred Deep Feature Fusion (TDFF) targeting at the new IARPA Janus Benchmark A (IJB-A) face recognition dataset released by NIST face challenge. The IJB-A dataset includes real-world unconstrained faces from 500 subjects with full pose and illumination variations which are much harder than the LFW and YTF datasets. Inspired by transfer learning, we train two advanced deep convolutional neural networks (DCNN) with two different large datasets in source domain, respectively. By exploring the complementarity of two distinct DCNNs, deep feature fusion is utilized after feature extraction in target domain. Then, template specific linear SVMs is adopted to enhance the discrimination of framework. Finally, multiple matching scores corresponding different templates are merged as the final results. This simple unified framework exhibits excellent performance on IJB-A dataset. Based on the proposed approach, we have submitted our IJB-A results to National Institute of Standards and Technology (NIST) for official evaluation. Moreover, by introducing new data and advanced neural architecture, our method outperforms the state-of-the-art by a wide margin on IJB-A dataset.

연구 동기 및 목표

• 자세, 조명, 가림 등 높은 변동성이 있는 비제약 조건의 실세계 데이터셋에서 기존 얼굴 인식 방법의 한계를 해결한다.
• LFW나 YTF와 같은 표준 벤치마크에서 성능 포화 상태에 이를 것을 방지하기 위해 더 도전적인 IJB-A 데이터셋을 목표로 한다.
• 다양한 딥 컨volution 네트워크에서 유사하지만 보완적인 특징을 효과적으로 융합할 수 있는 통합 프레임워크를 개발하여 정확성과 내성 향상을 도모한다.
• 다중 매칭 점수 통합 및 템플릿별 선형 SVM를 활용해 템플릿 기반 얼굴 인식의 분류 능력을 향상시킨다.
• 실세계 생체인식 응용 요구사항을 반영한 IJB-A 벤치마크에서 최고 성능을 달성한다.

제안 방법

• 서로 다른 아키텍처를 가진 두 개의 고급 딥 컨volution 네트워크(DCNN)를, 서로 겹치지 않는 대규모 소스 데이터셋에서 훈련하여 보완적인 얼굴 표현을 학습한다.
• 전이 학습을 활용해 사전 훈련된 DCNN을 IJB-A 타겟 도메인으로 이식하여 특징 추출을 수행함으로써 일반화 능력을 향상시킨다.
• 두 단계 특징 융합 전략을 구현: 첫 번째로 두 DCNN의 딥 특징을 융합하고, 두 번째로 다중 템플릿의 유사도 점수를 융합한다.
• 최종 매칭 단계에서 분류 능력을 향상시키기 위해 철저히 선택된 부정 집합을 활용한 일대다 템플릿별 선형 SVM를 적용한다.
• 다양한 템플릿에서 유도된 다중 매칭 점수를 가중 평균 또는 투표 방식으로 융합하여 최종 결정을 내림으로써 정확성과 내성 향상을 도모한다.
• IJB-A 프로토콜에서 집합 기반 매칭을 강조하는 점을 고려해, 검증 및 식별 작업 모두에 대해 프레임워크를 종단 간 최적화한다.

실험 결과

연구 질문

• RQ1 전이 학습과 특징 융합을 융합한 통합 딥 러닝 프레임워크가 도전적인 IJB-A 얼굴 인식 벤치마크에서 뛰어난 성능을 달성할 수 있는가?
• RQ2 다른 소스 데이터셋에서 훈련된 두 개의 서로 다른 딥 컨volution 네트워크의 보완성은 비제약 조건 하에서 인식 정확도를 어떻게 향상시키는가?
• RQ3 특징과 매칭 점수의 이중 단계 융합 전략이 템플릿 기반 얼굴 인식에서 분류 능력을 얼마나 향상시키는가?
• RQ4 템플릿별 선형 SVM를 딥 페처 융합와 결합했을 때 IJB-A에서 성능 향상이 뚜렷하게 이루어지는가?
• RQ5 제안된 TDFF 프레임워크가 IJB-A 평가 프로토콜에서 검증 및 식별 작업 양 측면에서 기존 최신 기술 수준의 방법들을 모두 능가하는가?

주요 결과

• TDFF는 IJB-A 데이터셋에서 0.1% FAR 시 1:1 검증의 진짜 수용률(TAR)이 97.9%에 달하여 이전 최신 기술 수준의 방법들을 크게 앞서 갔다.
• 1:N 식별에서 랭크-1 식별률은 99.2%에 달했고, 랭크-10 비율은 100%를 기록하여 CMC 모든 지표에서 뛰어난 성능을 보였다.
• 삼중 임베딩(Triplet Embedding, TPE)과 조합했을 때, TDFF는 랭크-1 식별률 98.8%와 랭크-10 성능 99.2%를 기록하여 강력한 내성과 일반화 능력을 입증했다.
• 두 단계 융합 전략—먼저 딥 특징을 융합하고, 그 다음에 유사도 점수를 융합하는 방식—이 고변동 조건에서도 높은 정확도를 달성하는 데 핵심적인 역할을 했다.
• 선택된 부정 집합을 활용한 템플릿별 선형 SVM의 사용은 자세나 조명 변화가 심한 어려운 케이스에서 특히 분류 능력을 크게 향상시켰다.
• TDFF는 DA-GAN, L2-softmax, Triplet Embedding와 같은 고급 모델을 포함한 모든 이전 방법들을 능가하여 IJB-A에서 새로운 최신 기술 수준을 수립했다.