[논문 리뷰] Unconstrained Face Verification using Deep CNN Features

Jun-Cheng Chen, Vishal M. Patel외 1명|arXiv (Cornell University)|2015. 08. 07.

Face recognition and analysis참고 문헌 32인용 수 6

한 줄 요약

이 논문은 CASIA-WebFace 데이터셋에서 추출한 특징을 사용하는 딥 컨volution 신경망(DCNN) 기반의 얼굴 인식 방법을 제안하며, 상대적으로 작은 데이터셋으로 훈련된 점을 감안할 때 도전적인 IARPA Janus Benchmark A(IJB-A) 및 Labeled Face in the Wild(LFW) 데이터셋에서 경쟁력 있는 성능을 달성한다. 이 방법은 딥 CNN 특징과 공동 베이지안 거리 측정 학습을 조합하여 자세, 조명 및 표정의 제약 없는 변형에 대해 강건함을 보여준다.

ABSTRACT

In this paper, we present an algorithm for unconstrained face verification based on deep convolutional features and evaluate it on the newly released IARPA Janus Benchmark A (IJB-A) dataset. The IJB-A dataset includes real-world unconstrained faces from 500 subjects with full pose and illumination variations which are much harder than the traditional Labeled Face in the Wild (LFW) and Youtube Face (YTF) datasets. The deep convolutional neural network (DCNN) is trained using the CASIA-WebFace dataset. Extensive experiments on the IJB-A dataset are provided.

연구 동기 및 목표

• 자세, 조명, 표정 및 가림 등의 제약 없는 변형에 강건한 얼굴 인식 시스템을 개발하기 위해.
• 최근 공개된 IARPA Janus Benchmark A(IJB-A) 데이터셋에서 딥 CNN 특징의 성능을 평가하여 실세계적 도전 과제를 분석하기 위해.
• 기존 최첨단 접근 방식(상용 오프더쇼프터 매처 및 다른 딥 러닝 모델 포함)과 제안된 방법을 비교하기 위해.
• 공동 베이지안 거리 측정 학습이 얼굴 인식의 유사도 점수 향상에 얼마나 효과적인지 조사하기 위해.
• 중간 크기의 데이터셋(CASIA-WebFace)으로 훈련된 DCNN 모델이 더 복잡하고 제약 없는 데이터셋으로의 일반화 능력을 입증하기 위해.

제안 방법

• 약 490,356장의 이미지와 10,548명의 주제를 포함하는 CASIA-WebFace 데이터셋에서 딥 컨volution 신경망(DCNN)을 훈련시켰다.
• 훈련된 네트워크의 최종 완전 연결층에서 딥 CNN 특징를 추출하여 얼굴 표현을 위해 사용했다.
• 이중 클래스 및 동일 클래스 확률의 비율을 유사도 점수로 사용하는 방식으로, 얼굴 쌍의 공동 분포를 모델링하기 위해 공동 베이지안 거리 측정 학습을 적용했다.
• IJB-A 및 LFW 데이터셋에서 비교 및 평가를 위해 코사인 유사도와 제약 없는 공동 베이지안 메트릭스를 사용했다.
• LFW에서는 표준 교차 검증 프rotocol를 적용하였으며, 평가 지표로 특정 FAR(False Acceptance Rate) 수준에서의 TAR(True Acceptance Rate)와 CMC(Cumulative Matching Characteristic) 곡선을 정의하였다.
• 미래 작업에서 중간층의 지도 정보를 활용하여 분류 능력과 수렴 속도를 향상시키기 위해 모델을 피지터닝했다.

실험 결과

연구 질문

• RQ1 CASIA-WebFace와 같은 중간 크기의 데이터셋으로 훈련된 DCNN 모델이 IJB-A와 같은 매우 제약 없는 얼굴 인식 벤치마크로 효과적으로 일반화될 수 있는가?
• RQ2 제약 없는 얼굴 인식 작업에서 전통적 방법(예: 피셔 벡터 인코딩 및 수작업 특징(예: LBP))과 비교해 딥 CNN 특징의 성능은 어떻게 되는가?
• RQ3 기본적인 유사도 메트릭스(예: 코사인 거리)에 비해 공동 베이지안 거리 측정 학습이 얼굴 인식 정확도 향상에 얼마나 기여하는가?
• RQ4 매우 큰 훈련 데이터를 사용하는 최첨단 딥 러닝 모델들(예: DeepFace, FaceNet, DeepID2)과 비교해 본 방법은 어떤가?
• RQ5 앙상블 모델이 아닌 단일 네트워크만을 사용할 경우, 제약 없는 환경에서 성능과 계산 효율성에 어떤 영향을 미치는가?

주요 결과

• 코사인 유사도를 사용할 경우, LFW 데이터셋에서 평균 정확도 97.15% ± 0.7%를 달성하여 비교적 작은 데이터셋으로 훈련된 점을 감안할 때 뛰어난 성능을 보였다.
• 공동 베이지안 거리 측정 학습을 적용한 결과, LFW에서 97.45% ± 0.7%의 정확도를 기록하여 확률적 유사도 모델링의 이점이 입증되었다.
• IJB-A 데이터셋에서 FV 기반 방법과 상용 오프더쇼프터 매처를 모두 압도하여 자세, 조명 및 표정의 변형에 강건함을 입증했다.
• IJB-A 데이터셋에서 FAR = 0.01일 때 TAR가 0.972 ± 0.005를 기록하여 엄격한 가짜 수락 임계값 조건에서도 뛰어난 성능을 보였다.
• 1장의 얼굴 이미지당 특징 추출 시간이 단 0.006초에 불과하여 높은 계산 효율성을 보였다.
• FaceNet(2.6억 장의 이미지 사용)과 같은 수백만 장의 이미지로 훈련된 모델들과 비교해 CASIA-WebFace의 490,356장의 이미지만을 사용함에도 불구하고 강력한 일반화 능력을 보였다.