[논문 리뷰] Not Afraid of the Dark: NIR-VIS Face Recognition via Cross-spectral Hallucination and Low-rank Embedding

José Lezama, Qiang Qiu외 1명|arXiv (Cornell University)|2016. 11. 21.

Face recognition and analysis참고 문헌 38인용 수 19

한 줄 요약

이 논문은 재학습 없이도 사전 훈련된 가시광선(VIS) 딥 페이스 인식 모델이 근적외선(NIR) 이미지와 효과적으로 작동하도록 하는 방법을 제안한다. 교차 스펙트럼 환영화법(Cross-spectral hallucination) — NIR 입력에서 CNN을 사용해 합성 VIS 얼굴을 생성하는 기법 — 와 저차원 임bedding을 조합하여 스펙트럼 간 특징을 정렬하고, CASIA NIR-VIS v2.0에서 최신 기준 96.41%의 랭크-1 정확도를 달성한다.

ABSTRACT

Surveillance cameras today often capture NIR (near infrared) images in low-light environments. However, most face datasets accessible for training and verification are only collected in the VIS (visible light) spectrum. It remains a challenging problem to match NIR to VIS face images due to the different light spectrum. Recently, breakthroughs have been made for VIS face recognition by applying deep learning on a huge amount of labeled VIS face samples. The same deep learning approach cannot be simply applied to NIR face recognition for two main reasons: First, much limited NIR face images are available for training compared to the VIS spectrum. Second, face galleries to be matched are mostly available only in the VIS spectrum. In this paper, we propose an approach to extend the deep learning breakthrough for VIS face recognition to the NIR spectrum, without retraining the underlying deep models that see only VIS faces. Our approach consists of two core components, cross-spectral hallucination and low-rank embedding, to optimize respectively input and output of a VIS deep model for cross-spectral face recognition. Cross-spectral hallucination produces VIS faces from NIR images through a deep learning approach. Low-rank embedding restores a low-rank structure for faces deep features across both NIR and VIS spectrum. We observe that it is often equally effective to perform hallucination to input NIR images or low-rank embedding to output deep features for a VIS deep model for cross-spectral recognition. When hallucination and low-rank embedding are deployed together, we observe significant further improvement; we obtain state-of-the-art accuracy on the CASIA NIR-VIS v2.0 benchmark, without the need at all to re-train the recognition system.

연구 동기 및 목표

• 제한된 NIR 훈련 데이터로 인해 NIR 얼굴 이미지를 VIS 얼굴 갤러리와 매칭하는 데 도전하는 문제를 해결한다.
• 최신 기준의 VIS 얼굴 인식 모델이 재학습이나 미세조정 없이도 NIR로 일반화되도록 한다.
• VIS와 NIR 간의 스펙트럼 도메인 이탈을 해결하기 위해 사전 훈련된 VIS DNN의 입력과 출력을 모두 수정한다.
• 모델 성능을 유지하면서도 교차 스펙트럼 인식으로 확장할 수 있는 전이 학습 프레임워크를 개발한다.

제안 방법

• 입력 NIR 이미지에서 얼굴 세부 정보를 유지하면서 고해상도 VIS 얼굴을 생성하기 위해 패치 기반 CNN을 적용한다.
• 학습된 블렌딩 파라미터(α ≈ 0.6–0.7)를 사용해 환영화된 밝기 채널을 원본 NIR 이미지와 융합하여 잡음 감소한다.
• 환영화된 VIS 입력에 대해 사전 훈련된 VIS DNN(VGG-S, VGG-face, COTS 등)를 고정된 특징 추출기로 사용한다.
• DNN의 깊은 특징(두 번째로 마지막 레이어)에 저차원 변환을 적용하여 NIR과 VIS 스펙트럼 간에 공통의 저차원 부분공간을 강제로 정렬한다.
• 동일한 주제의 특징을 정렬하고 다른 주제의 특징를 분리하기 위해 1024×1024 저차원 임베딩 행렬을 학습한다.
• 갤러리(VIS)와 프로브(NIR, 환영화법 및 임베딩 처리 후) 특징 간 매칭에 코사인 유사도를 사용한다.

실험 결과

연구 질문

• RQ1 재학습 없이도 사전 훈련된 VIS 얼굴 인식 모델을 NIR 얼굴 인식에 효과적으로 적응시킬 수 있는가?
• RQ2 NIR 이미지를 VIS 영역으로의 교차 스펙트럼 환영화법이 인식 성능 향상에 상당한 기여를 하는가?
• RQ3 NIR과 VIS 스펙트럼 간 DNN 특징의 저차원 임베딩이 교차 스펙트럼 특징 정렬을 향상시키는가?
• RQ4 환영화법과 저차원 임베딩의 조합이 인식 정확도에 미치는 통합 효과는 무엇인가?
• RQ5 환영화 블렌딩 파라미터(α)와 모델 선택에 대해 이 방법의 탄력성은 어느 정도인가?

주요 결과

• 제안된 방법은 CASIA NIR-VIS v2.0 벤치마크에서 96.41%의 랭크-1 정확도를 달성하여 새로운 최신 기준을 수립한다.
• 교차 스펙트럼 환영화법만으로도 VGG-S에서 랭크-1 정확도를 75.04%에서 95.72%로 향상시켜 강력한 성능 향상을 입증한다.
• 저차원 임베딩만으로도 VGG-S에서 정확도를 57.53%에서 82.07%로 향상시켜 특징 공간 정렬의 효과성을 보여준다.
• 환영화법과 저차원 임베딩의 조합이 가장 높은 성능 향상을 이끌었으며, COTS에서 96.41%의 랭크-1 정확도를 달성한다.
• 환영화된 이미지 복원에 가장 적합한 블렌딩 파라미터 α는 약 0.6–0.7로, 세부 정보 유지와 잡음 감소 사이의 균형을 이룬다.
• 이 방법은 모델에 종속되지 않으며 다양한 사전 훈련된 VIS DNN(VGG-S, VGG-face, COTS)에서 효과적으로 작동하여 일반화 능력을 확인한다.