[논문 리뷰] Low Resolution Face Recognition Using a Two-Branch Deep Convolutional Neural Network Architecture

Erfan Zangeneh, Mohammad Rahmati외 1명|arXiv (Cornell University)|2017. 06. 19.

Advanced Image Processing Techniques인용 수 13

한 줄 요약

이 논문은 저해상도 얼굴 인식을 위한 이중 브랜치 딥 컨volution 신경망(DCNN)을 제안하며, 비선형 특징 매핑과 초해상도 복원을 동시에 학습한다. 공유된 임bedding 공간에서의 상이한 이미지 간 거리 최소화를 위해 5층의 초해상도 네트워크와 14층의 특징 추출기(net)를 동시에 훈련시킴으로써, 기존 최고 수준의 방법들에 비해 6×6 픽셀 프로브 이미지에서 11.4% 높은 정확도를 달성한다. 또한, 인식에 최적화된 고해상도 얼굴 복원 이미지도 생성한다.

ABSTRACT

We propose a novel couple mappings method for low resolution face recognition using deep convolutional neural networks (DCNNs). The proposed architecture consists of two branches of DCNNs to map the high and low resolution face images into a common space with nonlinear transformations. The branch corresponding to transformation of high resolution images consists of 14 layers and the other branch which maps the low resolution face images to the common space includes a 5-layer super-resolution network connected to a 14-layer network. The distance between the features of corresponding high and low resolution images are backpropagated to train the networks. Our proposed method is evaluated on FERET data set and compared with state-of-the-art competing methods. Our extensive experimental results show that the proposed method significantly improves the recognition performance especially for very low resolution probe face images (11.4% improvement in recognition accuracy). Furthermore, it can reconstruct a high resolution image from its corresponding low resolution probe image which is comparable with state-of-the-art super-resolution methods in terms of visual quality.

연구 동기 및 목표

• 프로브 이미지가 종종 32×24 픽셀 이하인 실생활 감시 환경에서 저해상도 얼굴 인식의 과제를 해결한다.
• 기존 방법들이 고해상도 갤러리 정보를 기각하거나 초해상도 복원을 시각적 품질 향상에만 최적화하는 한계를 극복한다.
• 딥 러닝을 활용한 비선형 결합 매핑 방법을 개발하여, 저해상도와 고해상도 얼굴 특징을 공유된 공간에서 정렬한다.
• 동시에 인식 정확도를 향상시키고, 시각적으로 매력적인 것뿐만 아니라 인식에 최적화된 초해상도 얼굴 이미지를 생성한다.
• 표준 딥 네트워크(예: VGGNet)보다 훨씬 적은 메모리 요구량을 갖는 컴act 모델을 설계하여 자원 제약이 있는 시스템에의 배포를 가능하게 한다.

제안 방법

• 아키텍처는 고해상도(HR) 이미지용(14층)과 저해상도(LR) 이미지용 두 개의 DCNN 브랜치를 사용한다. LR 브랜치는 5층의 초해상도 네트워크와 14층의 특징 추출기로 구성된다.
• 공유된 임bedding 공간에서 동일한 신원의 HR과 LR 얼굴 쌍의 임베딩 특징 간 L2 거리 최소화를 위해 대비 손실(contrastive loss)을 사용하여 네트워크를 엔드 투 엔드로 훈련시킨다.
• 초해상도 브랜치는 LR 입력에서 고해상도 이미지를 복원하며, 공동 훈련 과정에서 가중치가 업데이트되어 인식 성능 향상에 기여한다.
• 동일 신원의 특징이 가까워지도록 하는 공유된 임bedding 공간을 활용하여, 저해상도 조건에서의 판별 능력을 향상시킨다.
• 훈련 과정에서 인식 손실이 초해상도 및 특징 추출 구성 요소를 거쳐 역전파되며, 복원 과정이 인식 목표와 일치하도록 한다.
• 다양한 설정(예: 이중 보간 또는 희소 코딩을 사용한 아웃라이어 실험)을 포함하여 FERET 데이터셋에서 모델을 평가한다.

실험 결과

연구 질문

• RQ1 기존 방법들과 비교해 매우 저해상도 얼굴 이미지의 인식 정확도를 크게 향상시킬 수 있는 딥 러닝 기반의 결합 매핑 접근법이 가능한가?
• RQ2 특징 추출기와 초해상도 네트워크를 함께 훈련시키는 것이 별도로 훈련하거나 표준 초해상도 기법을 사용하는 경우보다 더 나은 인식 성능을 낼 수 있는가?
• RQ3 제안된 프레임워크에서 복원된 고해상도 이미지의 시각적 품질과 인식 성능 간 상관관계는 어느 정도인가?
• RQ4 저해상도 얼굴 인식 벤치마크에서 제안된 방법은 최고 수준의 초해상도 및 결합 매핑 방법들과 비교해 성능 및 효율성 면에서 어떻게 다른가?
• RQ5 표준 하드웨어에서의 배포에 적합한 작은 메모리 사용량을 유지하면서도 높은 인식 정확도를 달성할 수 있는가?

주요 결과

• 제안된 방법은 기존 최고 수준의 방법들에 비해 6×6 픽셀 프로브 이미지에서 11.4% 높은 정확도를 달성하여 극도로 저해상도 조건에서도 강력한 내성(robustness)을 입증한다.
• 모든 프로브 이미지 해상도에서 경쟁 방법들을 능가하며, 가장 도전적인 저해상도 영역에서 가장 큰 성과 향상을 보였다.
• 초해상도 및 특징 추출 네트워크의 공동 훈련은 별도 또는 사전 훈련된 SR 구성 요소를 사용한 설정보다 유의미하게 더 높은 인식 성능을 낸다.
• 복원된 고해상도 얼굴의 시각적 품질은 최고 수준의 초해상도 방법과 유사하지만, PSNR 및 SSIM 지표에서 상위 두 방법보다 略로 낮다.
• 표준 딥 네트워크(예: VGGNet)에 비해 훨씬 적은 메모리 요구량을 보이며, 계산 자원이 제한된 시스템에의 배포에 적합하다.
• 테스트 이미지 간 PSNR 및 SSIM의 변동성을 통해 초해상도 네트워크가 일관된 시각적 향상보다는 인식 최적화된 복원을 우선시함을 확인할 수 있다.