[논문 리뷰] Deep multi-frame face super-resolution

Evgeniya Ustinova, Victor Lempitsky|arXiv (Cornell University)|2017. 09. 10.

Advanced Image Processing Techniques참고 문헌 10인용 수 7

한 줄 요약

이 논문은 순차적 프레임을 활용하여 얼굴 정렬, 초해상도 복원, 인식을 동시에 최적화하는 엔드 투 엔드 딥 네트워크를 제안한다. 서브픽셀 운동을 처리하기 위해 얼굴 워핑 서브넷을 통합하고, 인식 인식에 유용한 손실 함수를 활용함으로써, YouTube Faces 데이터셋에서 25개 프레임과 워핑을 사용할 때 100%-EER가 85.20%로 기존의 단일 프레임 기반 방법과 기존의 최고 성능 기법들을 크게 능가하는 얼굴 인식 성능을 달성한다.

ABSTRACT

Face verification and recognition problems have seen rapid progress in recent years, however recognition from small size images remains a challenging task that is inherently intertwined with the task of face super-resolution. Tackling this problem using multiple frames is an attractive idea, yet requires solving the alignment problem that is also challenging for low-resolution faces. Here we present a holistic system for multi-frame recognition, alignment, and superresolution of faces. Our neural network architecture restores the central frame of each input sequence additionally taking into account a number of adjacent frames and making use of sub-pixel movements. We present our results using the popular dataset for video face recognition (YouTube Faces). We show a notable improvement of identification score compared to several baselines including the one based on single-image super-resolution.

연구 동기 및 목표

• 저해상도 얼굴 인식의 과제를 해결하기 위해, 통합된 딥 러닝 프레임워크 내에서 초해상도 복원, 정렬, 인식을 동시에 해결한다.
• 일반적으로 얼굴 환영 현상과 신원 특화 세부 정보 손실을 유발하는 단일 이미지 초해상도 복원 기법의 한계를 극복한다.
• 정확한 서브픽셀 정렬을 통한 다중 영상 프레임의 시간 정보를 활용하여 저해상도 얼굴의 인식 정확도를 향상시킨다.
• 초해상도 복원 과정에서 개인별 특징을 유지하기 위해 얼굴 워핑과 인식 인식에 유용한 손실 함수를 통합한 통합 시스템을 개발한다.
• 적절한 정렬을 갖춘 다중 프레임 초해상도 복원 기법이 단일 프레임 접근 방식과 기존의 최고 성능 기법들에 비해 YouTube Faces 벤치마크에서 뚜렷한 성능 향상을 보임을 입증한다.

제안 방법

• 25개의 프레임를 처리하는 딥 네트워크 아키텍처를 제안하며, 중심 프레임을 초해상도 복원의 대상으로 삼는다.
• 서브픽셀 정밀도의 옵티컬 플로우 추정을 활용해 인접 프레임 간의 쌍방향, 병렬 정렬을 수행하는 얼굴 워핑 서브넷을 도입한다.
• 모든 프레임에서 특징을 추출하기 위해 공유된 특징 추출 백본(VGG 유사)을 사용하고, 이에 따라 워핑된 특징을 집계하여 재구성한다.
• 다양한 프레임에서 워핑된 특징을 융합하여 최종 고해상도 출력을 생성하는 재구성 모듈을 활용한다.
• 시각적 손실, 깊은 특징(Pool3, Pool4, FC7)에 대한 L2 손실, 그리고 신원 특화 세부 정보를 유지하기 위한 인식 인식에 유용한 손실을 조합한 다성분 손실 함수를 사용하여 전체 네트워크를 엔드 투 엔드로 학습시킨다.
• 입력 프레임의 일관성 있는 품질을 확보하기 위해 얼굴 검출기를 활용한 데이터 증강 및 사전 처리를 적용한다.

실험 결과

연구 질문

• RQ1 딥 네트워크 내에서 초해상도 복원, 정렬, 인식을 동시에 최적화하는 것이 고립된 접근 방식에 비해 저해상도 입력에서의 얼굴 인식 성능을 향상시키는가?
• RQ2 서브픽셀 정밀도의 정렬을 갖춘 다중 프레임을 통합할 경우, 단일 프레임 기반 방법에 비해 초해상도 복원 품질과 인식 정확도가 뚜렷이 향상되는가?
• RQ3 비정적 운동을 모델링하는 얼굴 워핑 모듈이 재구성 정밀도와 신원 유지에 얼마나 기여하는가?
• RQ4 시각적 품질과 인식 성능 측면에서, 제안된 방법은 기존의 최고 성능 기반 단일 이미지 초해상도 기법에 비해 어떻게 비교되는가?
• RQ5 신원 특화 세부 정보의 보존이 깊은 특징 유사도(예: FC7 레이어의 L2 거리)로 측정되었을 때, 인식 정확도 향상의 원인이 되는가?

주요 결과

• 25개 프레임과 얼굴 워핑을 사용하는 제안된 방법(f25 warp)은 YouTube Faces 데이터셋에서 100%-EER가 85.20%로 기록되었으며, 단일 프레임 기반 기준선(f1)의 82.40%에 비해 뚜렷한 성능 향상을 보였다.
• 얼굴 워핑 모듈의 통합으로 인해 인식 성능 향상이 명백하게 나타났으며, f25 warp는 워핑 없이 사용한 f25(83.60%) 대비 85.20%의 EER를 기록했다.
• 사용자 연구 결과, f25 warp 모델의 이미지가 f25 및 f1에 비해 참가자들이 일관되게 선호함을 확인하여, 더 뛰어난 시각적 품질과 신원 유사도를 보임을 시사한다.
• 재구성 과제에서 PSNR는 29.12 dB를 기록하였으며, FC7 레이어에서 L2 특징 거리는 0.3695로 신원 관련 특징의 강력한 보존을 나타낸다.
• 비슷한 평가 조건에서 기존의 최고 성능 단일 이미지 초해상도 기법 [21]에 비해 더 높은 100%-EER(85.14% 대비 82.32%)를 달성하여 성능을 뛰어넘었다.
• 제거 실험 결과, 정렬 없이 더 많은 프레임을 사용하는 것(f25)이 단일 프레임 초해상도(f1)에 비해 유의미한 이점이 없음을 확인하여, 성능 향상에 워핑 모듈의 필수성을 입증했다.