[논문 리뷰] Deep Heterogeneous Feature Fusion for Template-Based Face Recognition

Navaneeth Bodla, Jingxiao Zheng외 4명|arXiv (Cornell University)|2017. 02. 15.

Face recognition and analysis참고 문헌 23인용 수 12

한 줄 요약

이 논문은 극단적인 변형 조건 하에서 템플릿 기반 얼굴 인식 성능을 향상시키기 위해 두 개의 최신 딥 컨volution 신경망(DCNN)에서 유사한 특징을 융합하는 딥이종 특징 융합 네트워크를 제안한다. 비선형 고차원 투영을 공동으로 학습하고 특징의 내재 기하학적 구조를 유지함으로써, 이 방법은 도전적인 IARPA Janus CS3 데이터셋에서 기존 융합 기법들을 능가하는 뛰어난 성능을 달성하며, 자세, 조도, 가림 등의 다양한 공변량에 대해 강건함을 보였다.

ABSTRACT

Although deep learning has yielded impressive performance for face recognition, many studies have shown that different networks learn different feature maps: while some networks are more receptive to pose and illumination others appear to capture more local information. Thus, in this work, we propose a deep heterogeneous feature fusion network to exploit the complementary information present in features generated by different deep convolutional neural networks (DCNNs) for template-based face recognition, where a template refers to a set of still face images or video frames from different sources which introduces more blur, pose, illumination and other variations than traditional face datasets. The proposed approach efficiently fuses the discriminative information of different deep features by 1) jointly learning the non-linear high-dimensional projection of the deep features and 2) generating a more discriminative template representation which preserves the inherent geometry of the deep features in the feature space. Experimental results on the IARPA Janus Challenge Set 3 (Janus CS3) dataset demonstrate that the proposed method can effectively improve the recognition performance. In addition, we also present a series of covariate experiments on the face verification task for in-depth qualitative evaluations for the proposed approach.

연구 동기 및 목표

• 템플릿 기반 얼굴 인식에서 자세, 조도, 흐림, 가림과 같은 극단적 변형을 다루는 데에 단일 딥 네트워크의 한계를 해결하기 위해.
• 다른 DCNN 아키텍처에서 추출한 이종 딥 특징으로부터 상호보완적인 분류 정보를 활용하기 위해.
• 임bed딩 공간에서 딥 특징의 내재 기하학적 구조를 유지하는 특징 융합 방법을 개발하기 위해.
• 정량적 평가(ROC 곡선) 외에도 실제 세계의 어려운 조건에서의 공변량 분 析를 통한 정성적 평가를 수행하기 위해.

제안 방법

• ResNet-101과 VGG-16라는 두 개의 사전 훈련된 DCNN에서 추출한 특징을 고차원 공간에서 비선형 공통 투영을 통해 융합하여 분류 능력을 향상시킨다.
• 특징 융합을 공통 최적화 문제로 공식화하여, 딥 특징의 공통 비선형 변환을 학습하면서도 상대적인 기하학적 관계를 유지한다.
• 학습된 거리 측도를 사용해 투영된 특징을 조합함으로써 융합 표현을 구성하며, 분류에 기여하는 성분을 강조한다.
• 상호 템플릿 유사도와 내부 템플릿의 밀도를 최적화하는 메트릭 학습 프레임워크를 활용한다.
• 이미지 전용 및 영상 프레임 전용 템플릿을 통합된 표현으로 통합하여 혼합 미디어 템플릿에서도 강건한 성능을 달성한다.
• 눈의 가시성 및 실내/실외 조도와 같은 제어된 변형 조건에서의 성능 평가를 위한 새로운 공변량 분 析 프로토콜을 포함한다.

실험 결과

연구 질문

• RQ1 여러 개의 DCNN에서 유도된 이종 딥 특징을 융합하면 극도로 변형된 템플릿 기반 얼굴 인식 환경에서 정확도 향상에 기여하는가?
• RQ2 융합 과정에서 딥 특징의 내재 기하학적 구조를 유지할 경우 최종 템플릿 표현의 분류 능력에 어떤 영향을 미치는가?
• RQ3 자세, 조도, 흐림과 같은 극단적 변형 조건 하에서 기존의 연결 또는 조기 융합 전략에 비해 제안된 융합 방법이 더 잘 일반화되는가?
• RQ4 눈의 가시성 및 실내/실외 조도와 같은 특정 공변량이 융합 모델의 성능에 어떤 영향을 미치는가?
• RQ5 기본 모델 대비 실제 세계의 비제약적 얼굴 인식 환경에서 제안된 방법이 얼마나 더 강건한가?

주요 결과

• 제안된 방법은 IARPA Janus 챌린지 세트 3(Janus CS3) 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 연결 또는 다중 커널 학습과 같은 기초 지표를 크게 능가하였다.
• 전반적인 검증 프로토콜에서, 거짓 양성률(FPR)이 0.001일 때 참 양성률(TPR)이 0.9488에 도달하여 엄격한 조건 하에서도 높은 정확도를 보였다.
• 공변량 분석 결과, 양 템플릿에서 눈이 보일 경우(TPR = 0.9605, FPR = 0.001) 및 모두 실내에서 촬영된 경우(TPR = 0.9494, FPR = 0.001)에 뚜렷한 성능 향상이 있었으며, 조도 및 가림에 대한 강건성을 입증하였다.
• 정성적 공변량 분석 결과, 한 템플릿에서 시야가 떨어지거나 실외에서 촬영된 경우에도 융합 모델이 강력한 성능을 유지함을 확인하여 일반화 능력을 입증하였다.
• 제거 분석 결과, 공동 비선형 투영과 기하학적 구조 유지가 단순 연결 또는 조기 융합 전략에 비해 성능 향상에 크게 기여하는 것으로 확인되었다.
• 모든 갤러리-프로브 분할과 템플릿 유형(이미지 전용, 혼합 미디어)에서 일관된 성능 향상이 나타나, 방법의 강건성과 확장성을 확인하였다.