[논문 리뷰] Beyond the Visible: A Survey on Cross-spectral Face Recognition

David Anghelone, Cunjian Chen외 2명|arXiv (Cornell University)|2022. 01. 12.

Face recognition and analysis인용 수 4

한 줄 요약

이 종합 검토는 가시광선과 적외선 스펙트럼 간의 모odal 갭을 메우기 위해 딥 러닝 기법을 활용한 교차 스펙트럼 얼굴 인식(CFR)에 대한 종합적인 개요를 제공한다. CNN과 GAN을 사용한 방법을 평가하고, 핵심 데이터셋을 강조하며, 스펙트럼 변동, 제한된 데이터, 해상도 문제와 같은 과제를 밝히며, 강건하고 프라이버시를 보호하는 생체 인식 시스템을 위한 향후 연구 방향으로 마무리한다.

ABSTRACT

Cross-spectral face recognition (CFR) refers to recognizing individuals using face images stemming from different spectral bands, such as infrared versus visible. While CFR is inherently more challenging than classical face recognition due to significant variation in facial appearance caused by the modality gap, it is useful in many scenarios including night-vision biometrics and detecting presentation attacks. Recent advances in deep neural networks (DNNs) have resulted in significant improvement in the performance of CFR systems. Given these developments, the contributions of this survey are three-fold. First, we provide an overview of CFR, by formalizing the CFR problem and presenting related applications. Secondly, we discuss the appropriate spectral bands for face recognition and discuss recent CFR methods, placing emphasis on deep neural networks. In particular we describe techniques that have been proposed to extract and compare heterogeneous features emerging from different spectral bands. We also discuss the datasets that have been used for evaluating CFR methods. Finally, we discuss the challenges and future lines of research on this topic.

연구 동기 및 목표

• 교차 스펙트럼 얼굴 인식(CFR) 문제를 정형화하고, 기존의 가시광선 스펙트럼 얼굴 인식과의 차이를 명확히 하기 위해.
• CFR에서의 과제를 분석하기 위해, 큰 내광선 변동, 모달 갭, 스펙트럼 대역 간에 짝을 이룬 훈련 데이터가 부족한 문제를 포함하여.
• 딥 러닝 기반의 CFR 방법을 검토하고 분류하기 위해, 특히 도메인 불변 특징을 학습하고 교차 스펙트럼 이미지를 합성하기 위해 CNN과 GAN을 사용한 방법을 중심으로.
• CFR 연구에서 사용된 기존 데이터셋을 평가하고, 데이터 가용성과 다양성 측면에서의 격차를 밝혀내기 위해.
• 열린 연구 과제를 제시하기 위해, 일반화 능력 향상, 열대 대역 해상도 향상, 위조 공격 및 프라이버시 위협에 대한 강건성 확보를 포함하여.

제안 방법

• 다양한 스펙트럼 모odal리티(예: 가시광선, NIR, LWIR)에서 온 얼굴 이미지를, 모달 특성 차이를 최소화하도록 훈련된 딥 러닝 모델을 사용해 매칭하는 작업으로 CFR를 정형화한다.
• 특히 삼중체 손실을 사용하여 스펙트럼 도메인 간에 내부 클래스의 응집성과 외부 클래스의 분리성을 강제함으로써, 도메인 불변 특징 학습을 구현한다.
• 생성적 적대 기반 네트워크(GAN)를 사용해 교차 스펙트럼 얼굴 이미지를 합성하고, 신원 손실을 통해 신원를 유지하며, 보조 손실(예: 형태, 의미, 소스 기반)을 통해 현실감과 정확도를 향상시킨다.
• 쌍화된 훈련 샘플이 필요하지 않은 비지도 도메인 적응 기법을 적용하여, 소스(예: 가시광선) 도메인과 타겟(예: 적외선) 도메인 간의 특징 분포를 정렬한다.
• 저해상도 열대 이미지를 향상시키기 위해 슈퍼 해상도 후처리를 통합하며, 특히 MWIR 및 LWIR 대역에서 효과를 발휘한다.
• 다중 스펙트럼 영상, 특히 LWIR에서의 편광 측정을 통해 얼굴 표면의 추가 물리적 특성을 캡처함으로써 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크는 어떻게 가시광선, NIR, 열대 적외선과 같은 이질적인 스펙트럼 대역 간에 신원 불변 특징을 효과적으로 학습할 수 있는가?
• RQ2 도메인 이동 상황에서 엔드 투 엔드 CFR 모델을 훈련시키기 위해 가장 효과적인 손실 함수는 무엇인가(예: 삼중체 손실 대비 대비 손실)?
• RQ3 GAN 기반 이미지 합성은 교차 스펙트럼 얼굴 인식에서 모달 갭을 어느 정도 줄일 수 있으며, 보조 손실은 합성 품질을 어떻게 향상시키는가?
• RQ4 스펙트럼 대역 선택(NIR, SWIR, MWIR, LWIR)은 정확도에 어떤 영향을 미치며, 실세계 응용에 가장 적합한 것은 무엇인가?
• RQ5 현재 CFR 데이터셋의 주요 한계는 무엇이며, 향후 데이터 수집은 모델의 일반화 능력과 강건성 향상에 어떻게 기여할 수 있는가?

주요 결과

• 삼중체 손실은 특징 공간에서 내부 클래스 변동을 최소화하고 외부 클래스 간 거리를 최대화함으로써 대비 손실보다 CFR에서 더 뛰어난 성능을 보인다.
• GAN 기반의 교차 스펙트럼 이미지 합성은 모달 갭을 줄이는 데 잠재력을 보이며, 아직 실 데이터에 대한 최첨단 성능에 도달하지 못한 실내 합성 데이터가 존재한다.
• 반사적 적외선에서의 가시광선으로의 CFR에 있어, 더 나은 해상도와 기존 시스템과의 호환성 덕분에 근적외선(NIR)이 선호되는 스펙트럼 대역이다.
• 열대 대역(MWIR/LWIR)은 저조도 환경과 위조 탐지에 유리하지만, 낮은 해상도와 더불어 특히 가시광선이나 NIR에 비해 더 큰 모달 갭을 야기한다.
• LWIR에서의 편광 측정은 표준 강도 기반 열영상보다 더 높은 정확도를 보였으며, 향후 고성능 시스템에 잠재력을 지닌다.
• 다양한 발전에도 불구하고, CFR는 여전히 부족한 공개 데이터, 대규모, 다양한 데이터셋으로 인해 일반화 능력과 벤치마킹에 제약을 받고 있다.