[논문 리뷰] Thermal to Visible Synthesis of Face Images using Multiple Regions

Benjamin S. Riggan, Nathaniel J. Short외 1명|arXiv (Cornell University)|2018. 03. 20.

Face recognition and analysis참고 문헌 20인용 수 5

한 줄 요약

이 논문은 전역 얼굴 수준과 국소적 얼굴 부위(눈, 코, 입) 표현을 동시에 최적화하여 열화상 입력에서 고품질의 가시광선 얼굴 이미지를 합성하는 다중 영역 딥러닝 프레임워크를 제안한다. 영역별 특징 추출 및 정규화를 활용함으로써, 기존 방법 대비 AUC는 5.5% 향상시키고 EER은 3.7% 감소시켜 최신 기술 수준의 교차 스펙트럼 얼굴 인식 성능을 달성하였으며, 동시에 합성된 이미지에서 정확한 랜드마크 검출도 가능하게 한다.

ABSTRACT

Synthesis of visible spectrum faces from thermal facial imagery is a promising approach for heterogeneous face recognition; enabling existing face recognition software trained on visible imagery to be leveraged, and allowing human analysts to verify cross-spectrum matches more effectively. We propose a new synthesis method to enhance the discriminative quality of synthesized visible face imagery by leveraging both global (e.g., entire face) and local regions (e.g., eyes, nose, and mouth). Here, each region provides (1) an independent representation for the corresponding area, and (2) additional regularization terms, which impact the overall quality of synthesized images. We analyze the effects of using multiple regions to synthesize a visible face image from a thermal face. We demonstrate that our approach improves cross-spectrum verification rates over recently published synthesis approaches. Moreover, using our synthesized imagery, we report the results on facial landmark detection-commonly used for image registration-which is a critical part of the face recognition process.

연구 동기 및 목표

• 열화상와 가시광선 얼굴 영상 간의 큰 모odal 갭으로 인해 교차 스펙트럼 얼굴 인식 및 인간 인식이 어려운 문제를 해결하기 위해.
• 기존의 가시광선 스펙트럼 기반 얼굴 인식 시스템과의 상호운용성을 확보하기 위해 열화상 입력에서 현실적인 가시광선 유사 이미지를 생성하기 위해.
• 전역 및 국소적 얼굴 부위의 공동 최적화를 통해 합성된 얼굴의 판별 능력을 향상시키기 위해.
• 합성된 이미지의 실용적 유용성을 평가하기 위해 후속 작업(예: 얼굴 랜드마크 검출)에 활용 가능한지 평가하기 위해.
• 국소 영역 기반 정규화가 단일 영역 또는 전역 최적화 전용 접근 방식보다 합성 품질과 인식 정확도를 향상시키는지 입증하기 위해.

제안 방법

• 전체 컨volution 신경망(FCN)이 전역 영역(전체 얼굴)과 다수의 국소 기준 영역(눈, 코, 입)에서 특징을 추출한다.
• 각 영역별로 교차 스펙트럼 매핑을 학습하여 열화상 특징에서 대응하는 가시광선 특징을 예측한다.
• 전역 및 국소 영역에서 유도된 기울기 업데이트를 역전파하여 합성 네트워크를 최적화한다.
• 각 영역에서 유도된 보완적 정규화 항목을 적용하여 합성된 가시광선 이미지의 텍스처 및 구조적 정밀도를 향상시킨다.
• 합성된 이미지와 실제 가시광선 얼굴 특징 간 유사성을 강제하는 인지 손실을 사용하여 프레임워크를 엔드 투 엔드로 훈련한다.
• 표준 가시광선 스펙트럼 도구(예: DLIB)를 사용하여 합성된 이미지에서 랜드마크 검출을 수행함으로써 실용적 유용성을 평가한다.

실험 결과

연구 질문

• RQ1 전역 및 국소적 얼굴 부위에 대한 공동 최적화가 열화상에서 가시광선으로의 얼굴 합성 품질의 판별 능력을 향상시키는가?
• RQ2 영역별 정규화를 통합할 경우 전역 최적화 또는 기준 방법 대비 더 나은 교차 스펙트럼 인식 성능을 달성하는가?
• RQ3 열화상 입력에서 합성된 가시광선 이미지를 사용하여 표준 가시광선 스펙트럼 도구로 정확한 랜드마크 검출이 가능한가?
• RQ4 AUC 및 EER 측면에서 최신 기술 수준의 합성 기법과 비교했을 때 제안된 방법은 어떤 성능을 보이는가?
• RQ5 다중 영역 접근 방식이 기존 얼굴 인식 파이프라인에서 합성 이미지의 사용성에 얼마나 기여하는가?

주요 결과

• 제안된 다중 영역 합성 방법은 펄라리메트릭 열화상에서 가시광선으로의 합성에 대해 이전 최고 기술 대비 AUC 5.54% 향상(85.43%)을 달성하였다.
• 기존 최고 기술 대비 등가 오류율(EER)을 3.71% 감소시켜 펄라리메트릭 데이터에서 21.46% EER을 달성하였다.
• 기존 기술 대비 1.11% 향상된 26.25% EER을 획득하여 일반 열화상 입력에 대해서도 뛰어난 성능을 보였다.
• 일반 열화상 입력 기반 합성 이미지에서 랜드마크 검출 평균 오차는 4.95 픽셀이며, 펄라리메트릭 열화상 입력 기반으로는 4.83 픽셀을 기록하였다.
• 합성된 이미지는 표준 가시광선 스펙트럼 소프트웨어(예: DLIB)를 사용해 정확한 랜드마크 검출이 가능하며, 이는 원시 열화상 이미지에서는 실패하는 바이다.
• 프레임워크는 전역 및 국소 영역 표현을 결합하고 영역별 정규화를 적용할 경우 합성 품질과 인식 성능이 크게 향상됨을 입증하였다.