[논문 리뷰] Deep Perceptual Mapping for Thermal to Visible Face Recognition

M. Saquib Sarfraz, Rainer Stiefelhagen|arXiv (Cornell University)|2015. 07. 10.

Face recognition and analysis참고 문헌 16인용 수 44

한 줄 요약

이 논문은 크로스스펙트럴 얼굴 인식에서 큰 모odal 갭을 해소하기 위해 가시광선에서 적외선 얼굴 영상으로의 비선형 맵핑을 학습하는 딥 네ural 네트워크 기반 접근법인 딥 퍼셉추얼 매핑(DPM)을 제안한다. 맵핑 과정에서 신원 정보를 유지함으로써 DPM은 UND-X1 데이터셋에서 랭크-1 정확도를 10퍼센트 이상 향상시키고, 모달 갭으로 인한 성능 저하를 40퍼센트 이상 감소시킨다.

ABSTRACT

Cross modal face matching between the thermal and visible spectrum is a much de- sired capability for night-time surveillance and security applications. Due to a very large modality gap, thermal-to-visible face recognition is one of the most challenging face matching problem. In this paper, we present an approach to bridge this modality gap by a significant margin. Our approach captures the highly non-linear relationship be- tween the two modalities by using a deep neural network. Our model attempts to learn a non-linear mapping from visible to thermal spectrum while preserving the identity in- formation. We show substantive performance improvement on a difficult thermal-visible face dataset. The presented approach improves the state-of-the-art by more than 10% in terms of Rank-1 identification and bridge the drop in performance due to the modality gap by more than 40%.

연구 동기 및 목표

• 스펙트럼 영역 간의 큰 모달 갭으로 인해 발생하는 적외선-가시광선 얼굴 인식의 성능 저하 문제를 해결하기 위해.
• 적외선 영상이 사용되지만, 가시 영상 데이터베이스와의 매칭이 요구되는 암시적 야간 감시와 같은 실용적 응용을 위한 해결책을 개발하기 위해.
• 기존 방법들이 근적외선(NIR) 또는 단파적외선(SWIR)에서 가시광선으로의 매칭에만 집중하여 활성 조명이 필요하고 암시적 작전에 부적합한 점을 극복하기 위해.
• 딥 러닝 기반 접근법을 사용하여 도전적인 UND-X1 적외선-가시광선 얼굴 데이터셋에서 최신 기술 수준의 성능을 달성하기 위해.
• 희소한 훈련 데이터에서 실시간 구현 가능하고, 모달 간의 신원 정보를 유지하는 방법의 타당성과 강건성을 입증하기 위해.

제안 방법

• 가시 영상에서 추출한 조밀한 컨볼루션 특징을 해당하는 적외선 영상으로 매핑하는 비선형 회귀 함수를 학습하기 위해 전방향 딥 네URAL 네트워크를 훈련한다.
• 가시광선과 적외선 얼굴 외관 간의 복잡한 비선형 관계를 모델링하기 위해, 하나 이상의 은닉층을 포함한 다층퍼셉트론(MLP) 아키텍처를 사용한다.
• 재구성 오차를 최소화하면서도 분류 가능한 특징 표현을 유지함으로써 맵핑 과정에서 신원 정보를 유지한다.
• 사전 훈련된 CNN(VGG 또는 유사한 모델 등)을 사용해 가시 영상에서 깊은 특징을 추출한 후, 학습된 DPM 네트워크를 통해 이를 적외선 도메인으로 투영한다.
• 테스트 시점에 DPM 네트워크를 적용하여 프로브 가시 특징을 적외선 도메인으로 매핑하고, 표준 코사인 유사도 또는 분류 기반의 교차 모달 매칭을 가능하게 한다.
• 재구성 손실 함수를 사용하여, 맵핑된 특징가 진짜 적외선 특징과 유사하도록 엔드 투 엔드 백프로파게이션을 통해 네트워크를 최적화한다.

실험 결과

연구 질문

• RQ1 딥 네URAL 네트워크는 가시광선과 적외선 얼굴 영상 간의 비선형 맵핑을 효과적으로 학습하여 모달 갭을 줄일 수 있는가?
• RQ2 실제 세계의 대규모 스펙트럼 차이를 가진 데이터셋에서 이러한 맵핑이 크로스스펙트럴 얼굴 인식 성능을 얼마나 향상시킬 수 있는가?
• RQ3 제안된 딥 퍼셉추얼 매핑 접근법을 통해 모달 갭으로 인한 성능 저하의 어느 정도가 보완될 수 있는가?
• RQ4 희소한 데이터(예: 각 주제당 하나 또는 두 개의 가시 영상)로 훈련했을 때, 이 방법은 얼마나 강건한가?
• RQ5 최소한의 계산 부담으로 실시간 응용에 구현 가능한가?

주요 결과

• 제안된 DPM 방법은 기존 최고 기술 대비 UND-X1 데이터셋에서 랭크-1 정확도를 10퍼센트 이상 향상시켰다.
• 모달 갭으로 인한 성능 저하를 40퍼센트 이상 감소시켜, 기준값의 59퍼센트에서 DPM 적용 시 34퍼센트로 감소시켰다.
• 적외선-적외선 신원 확인 작업에서 DPM은 랭크-1 점수 89.7퍼센트를 기록했고, 기준 적외선-가시광선 성능은 30.3퍼센트로 떨어져, 모달 갭의 심각성을 입증했다.
• 갤러리에 주제당 하나의 가시 영상만 있는 조건에서, DPM 기반 방법은 랭크-1 정확도 55.36퍼센트를 달성했고, 기준 특징 대비 30.36퍼센트보다 25퍼센트 향상되어, 성능 향상이 뚜렷했다.
• 계산적으로 효율적이며, 특징 추출 및 매핑에 이미지당 45ms가 소요되고, 실시간 추론 속도는 약 28fps로, 실시간 감시에 적합하다.
• DPM 접근법은 적외선-가시광선 얼굴 인식에서 모달 갭을 극복하기 위해 딥 네URAL 네트워크를 성공적으로 적용한 최초의 방법으로, 어려운 데이터셋에서 새로운 기준을 설정했다.