[논문 리뷰] Low-Resolution Face Recognition

Zhiyi Cheng, Xiatian Zhu외 1명|arXiv (Cornell University)|2018. 11. 21.

Advanced Image Processing Techniques참고 문헌 47인용 수 6

한 줄 요약

이 논문은 저해상도 얼굴 인식(LRFR)을 위한 새로운 복합 초해상도 및 신원(CSRI) 통합 딥러닝 프레임워크를 제안한다. 이는 종단간 훈련을 통해 동시에 얼굴 세부 정보를 향상시키고 신원 구별 능력을 향상시킨다. 새로 도입된 대규모 TinyFace 벤치마크에서 최신 기술 대비 뛰어난 성능을 보이며, 원본 저해상도 이미지에서 44.8%의 랭크-1 정확도를 달성했다. 이는 다음으로 우수한 모델보다 12.7% 향상된 성과이며, 실제 저해상도 데이터에서 기존의 얼굴 인식 모델들이 보여주는 심각한 성능 격차를 드러낸다.

ABSTRACT

Many face recognition approaches expect the input images to have similar image resolution. However, in real-world applications, the image resolution varies due to different image capture mechanisms or sources, affecting the performance of face recognition systems. This work first analyzes the image resolution susceptibility of modern face recognition. Face verification on the very popular LFW dataset drops from 99.23% accuracy to almost 55% when image dimensions of both images are reduced to arguable very poor resolution. With cross-resolution image pairs (one HR and one LR image), face verification accuracy is even worse. This characteristic is investigated more in-depth by analyzing the feature distances utilized for face verification. To increase the robustness, we propose two training strategies applied to a state-of-the-art face recognition model: 1) Training with 50% low resolution images within each batch and 2) using the cosine distance loss between high and low resolution features in a siamese network structure. Both methods significantly boost face verification accuracy for matching training and testing image resolutions. Training a network with different resolutions simultaneously instead of adding only one specific low resolution showed improvements across all resolutions and made a single model applicable to unknown resolutions. However, models trained for one particular low resolution perform better when using the exact resolution for testing. We improve the face verification accuracy from 96.86% to 97.72% on the popular LFW database with uniformly distributed image dimensions between 112 × 112 px and 5 × 5 px. Our approaches improve face verification accuracy even more from 77.56% to 87.17% for distributions focusing on lower images resolutions. Lastly, we propose specific image dimension sets focusing on high, mid, and low resolution for five well-known datasets to benchmark face verification accuracy in cross-resolution scenarios.

연구 동기 및 목표

• 감시 및 비구속적 환경에서 흔히 발생하는 원본 저해상도(LR) 이미지에서의 얼굴 인식 성능 격차를 해결하기 위해, 이는 기존 벤치마크에서 다루지 못한 분야이다.
• 저해상도 얼굴 인식(LRFR)에 대한 일반화 능력을 향상시키기 위해 초해상도 및 신원 인식을 동시에 최적화하는 통합 딥러닝 프레임워크를 개발하기 위해이다.
• 다양한 실제 환경에서 촬영된 169,403장의 원본 저해상도 얼굴 이미지(20×16 픽셀)를 포함하는 대규모이고 현실적인 벤치마크인 TinyFace를 구축하기 위해이다.
• 기존 최신 기술 기반의 얼굴 인식 모델이 원본 저해상도 데이터에서 테스트될 경우 성능이 크게 떨어지며, 인위적으로 내림내림된 또는 고해상도 벤치마크에서는 그렇지 않음을 입증하기 위해이다.
• 별도의 초해상도 처리 파이프라인은 노이즈와 아티팩트를 야기하여 얼굴 인식 성능을 떨어뜨리며, 상호 보완적인 학습이 저해상도 얼굴 인식의 강건성에 필수적임을 보여주기 위해이다.

제안 방법

• 초해상도 및 신원 인식을 동시에 학습하는 종단간 훈련이 가능한 통합 엔드투엔드 딥 네트워크 아키텍처를 제안하여, 이미지 향상과 분류 특징 학습 간의 호환성을 확보한다.
• 고품질의 고해상도(HR) 웹 이미지에서 얻은 초해상도 지식을 원본 저해상도 얼굴 이미지로 전이하기 위해 신원 제약을 가진 미니배치 훈련을 사용하는 보완적 초해상도(CSR) 학습 기법을 도입한다. 이는 짝지어진 HR-LR 데이터 부족 문제를 해결한다.
• 이중 브랜치 네트워크를 사용한다: 한 브랜치는 저해상도 얼굴 이미지의 초해상도 복원을 수행하고, 다른 브랜치는 신원 분류를 수행한다. 공유된 특징 추출 및 종단간 역전파를 통해 학습한다.
• 신원 분류 손실(교차 엔트로피)과 초해상도 손실(예: 지각적 손실 또는 L1 손실)을 조합한 손실 함수를 사용하여 두 작업을 동시에 최적화한다.
• 데이터 증강 및 신원 인식 샘플링을 미니배치에 적용하여 초해상도 학습이 신원 일관성에 의해 이끌리도록 하여 특징 품질과 인식 정확도를 향상시킨다.
• 초기 초해상도 학습을 위해 합성 저해상도 데이터(CelebA에서 유도)를 사용하고, 이후 TinyFace 데이터셋에서 신원 특화 적응을 위한 파인튜닝을 수행한다.

실험 결과

연구 질문

• RQ1 기존 최신 기술 기반의 얼굴 인식 모델은 실제 비구속적 환경에서 촬영된 원본 저해상도 얼굴 이미지에서 고해상도 벤치마크에서의 성능과 비교해 어떻게 성능을 발휘하는가?
• RQ2 초해상도 및 신원 인식을 동시에 학습하는 통합 학습 방식은 별도 처리보다 원본 저해상도 이미지에서 얼굴 인식 정확도를 향상시키는가?
• RQ3 보완적 초해상도 학습—고해상도 이미지에서의 지식을 원본 저해상도 얼굴로 전이하는 방식—은 인식 성능에 어떤 영향을 미치는가?
• RQ4 기존의 초해상도 및 얼굴 인식 모델은 대규모이고 현실적인 원본 저해상도 벤치마크인 TinyFace에서 평가될 경우 성능이 어떻게 떨어지는가?
• RQ5 초해상도를 별도의 전처리 단계로 적용하는 것은 원본 저해상도 이미지에서 얼굴 인식 성능에 유익한가, 아니면 해로운가?

주요 결과

• 제안된 CSRI 모델은 TinyFace 벤치마크에서 44.8%의 랭크-1 정확도를 달성하여, 다음으로 뛰어난 모델인 CentreFace(32.1%)보다 12.7%p 높은 성능을 보였다.
• 최신 기술 기반의 얼굴 인식 모델은 TinyFace에서의 랭크-1 정확도가 32.1%로 측정되었고, MegaFace 벤치마크에서는 65.2%로 측정되어, 실제 적용 가능성에서 심각한 격차가 드러났다.
• SR-FR 통합 학습은 별도 학습 대비 랭크-1 정확도를 10.1%p 향상시켜(26.0%에서 36.1%로), 종단간 최적화의 유용성을 입증했다.
• 보완적 초해상도 학습은 성능을 8.7%p 향상시켜(36.1%에서 44.8%로), 고해상도 지식을 원본 저해상도 데이터에 효과적으로 전이할 수 있음을 확인했다.
• 별도의 전처리 단계로 초해상도를 적용하는 경우(SRCNN, VDSR 등), 노이즈와 아티팩트로 인해 얼굴 인식 성능이 떨어지며, 이는 기준 보간법인 bicubic 보다도 성능이 열 劣하다.
• 169,403장의 원본 저해상도 얼굴 이미지(20×16 픽셀)를 포함하며 5,139명의 신원을 가진 TinyFace 데이터셋은 현실적이고 도전적인 벤치마크로서, 현재의 얼굴 인식 모델이 실제 저해상도 데이터에서 가지는 한계를 드러낸다.