[논문 리뷰] A Large-Scale, Time-Synchronized Visible and Thermal Face Dataset

Domenick Poster, Matthew Thielke외 9명|arXiv (Cornell University)|2021. 01. 07.

Face recognition and analysis참고 문헌 39인용 수 4

한 줄 요약

이 논문은 395명의 피험자로부터 50만 장이 넘는 이미지를 포함한, 가장 큰 공개된 시간에 동기화된 가시광선 및 장파장 적외선(LWIR) 열화상 얼굴 데이터셋인 ARL-VTF를 소개한다. 이 데이터셋은 열화상 얼굴 특징점 검출 및 열화상-가시광선 얼굴 인식에 대한 벤치마킹을 가능하게 하며, SAGAN 기반 합성 기법을 사용할 경우 AUC 점수가 99.28%에 도달하고, 실제 가시광선 프로브를 사용할 경우 99.63%에 도달한다.

ABSTRACT

Thermal face imagery, which captures the naturally emitted heat from the face, is limited in availability compared to face imagery in the visible spectrum. To help address this scarcity of thermal face imagery for research and algorithm development, we present the DEVCOM Army Research Laboratory Visible-Thermal Face Dataset (ARL-VTF). With over 500,000 images from 395 subjects, the ARL-VTF dataset represents, to the best of our knowledge, the largest collection of paired visible and thermal face images to date. The data was captured using a modern long wave infrared (LWIR) camera mounted alongside a stereo setup of three visible spectrum cameras. Variability in expressions, pose, and eyewear has been systematically recorded. The dataset has been curated with extensive annotations, metadata, and standardized protocols for evaluation. Furthermore, this paper presents extensive benchmark results and analysis on thermal face landmark detection and thermal-to-visible face verification by evaluating state-of-the-art models on the ARL-VTF dataset.

연구 동기 및 목표

• 연구를 위한 고품질의 시간에 동기화된 가시광선 및 열화상 얼굴 영상의 부족 문제를 해결하기 위해.
• 자세 변화, 표정, 가림 등 비제약 조건 하에서 강건한 얼굴 인식 모델 개발을 지원하기 위해.
• 열화상-가시광선 얼굴 인식 및 특징점 검출 모델의 학습 및 평가를 위한 표준화된 프로토콜 제공하기 위해.
• 대규모이고 철저히 정제된 데이터셋을 사용하여 열화상 분석 작업에 대한 최신 딥러닝 모델의 성능을 벤치마킹하기 위해.

제안 방법

• 스테레오 가시광선 카메라 설정과 장파장 적외선(LWIR) 카메라를 사용하여 가시광선 및 LWIR 열화상 영상을 동시에 촬영.
• 각 피험자별로 세 개의 영상 시퀀스를 체계적으로 기록: 기본 상태, 표정 변화, 비정상 자세 상태로, 네 번째는 안경 착용 조건을 위한 것으로 설정.
• 모든 이미지에 대해 머리 자세, 안경 착용 여부, 얼굴 경계 상자 및 6개의 얼굴 특징점 레이블을 부여.
• VGG-Face, Pix2Pix, GANVFS 및 SAGAN 등의 딥러닝 모델을 활용하여 다중 모odal 얼굴 인식 및 영상 합성 수행.
• 조건부 GAN(예: SAGAN)을 사용하여 열화상 입력에서 가시광선 유사 영상을 합성함으로써 스펙트럼 간 일치도 향상.
• AUC, EER 및 다양한 조건에서의 특징점 검출 정확도 등의 지표를 사용한 표준화된 프로토콜을 통한 평가 수행.

실험 결과

연구 질문

• RQ1 자세 및 표정 조건에 따라 열화상-가시광선 얼굴 인식 성능는 어떻게 변화하는가?
• RQ2 특히 열화상 영역에서 안경에 의한 가림이 열화상-가시광선 얼굴 인식 정확도에 얼마나 큰 영향을 미치는가?
• RQ3 GAN 기반 영상 합성 방법은 스펙트럼 간 얼굴 인식 성능 향상에 얼마나 효과적인가?
• RQ4 자세 변화는 열화상 얼굴 특징점 검출 및 인식 정확도에 어떤 영향을 미치는가?
• RQ5 다양한 합성 방법(예: Pix2Pix, SAGAN)은 열화상 입력에서 현실적인 가시광선 유사 영상을 생성하는 데 어떻게 비교되는가?

주요 결과

• SAGAN 기반 합성 방법은 열화상-가시광선 얼굴 인식에서 AUC 99.28%를 기록하여 원본 기준선(61.37% AUC)을 크게 앞서며 성능을 뛰어넘었다.
• 실제 가시광선 프로브 기준선은 기본 시퀀스에서 AUC 99.06%를 기록했지만, 비정상 자세 시퀀스에서는 75.76%로 떨어져 자세 변화가 주요 과제임을 입증했다.
• 표정 변화로 인한 성능 저하가 관찰되었으며, SAGAN의 AUC는 표정이 있는 얼굴에서 99.28%에서 98.46%로 감소했다.
• SAGAN 모델의 등가 오류 비율(EER)은 3.97%로 높은 강건성을 보였고, 반면 Pix2Pix 모델은 자세 변화 조건에서 EER이 33.8%로 높았다.
• 안경 착용 시 열화상 영상에서 렌즈에 열이 흡수되어 열 신호가 가려지면서 성능 저하가 심각하게 발생했다.
• 이 데이터셋의 표준화된 프로토콜과 광범위한 레이블링은 다양한 실제 환경 조건에서 열화상 얼굴 분석 모델의 신뢰성 있는 벤치마킹을 가능하게 한다.