[논문 리뷰] Synthesis-based Robust Low Resolution Face Recognition

Sumit Shekhar, Vishal M. Patel외 1명|arXiv (Cornell University)|2017. 07. 10.

Sparse and Compressive Sensing Techniques참고 문헌 29인용 수 16

한 줄 요약

이 논문은 고해상도 갤러리 이미지를 활용하여 조명에 강건한 훈련 데이터를 합성하고, 희소 코딩을 통해 클래스별로 해상도가 일치하는 사전를 학습하는 합성 기반 생성적 접근법을 제안한다. 이 방법은 표준 및 실외 데이터셋에서 최신 기술 수준의 성능을 달성하며, 커널화된 및 공동 희소 코딩 변형을 통해 도전적인 저해상도, 조명 변화가 있는 데이터에서 정확도를 최대 71.1% 향상시킨다.

ABSTRACT

Recognition of low resolution face images is a challenging problem in many practical face recognition systems. Methods have been proposed in the face recognition literature for the problem which assume that the probe is low resolution, but a high resolution gallery is available for recognition. These attempts have been aimed at modifying the probe image such that the resultant image provides better discrimination. We formulate the problem differently by leveraging the information available in the high resolution gallery image and propose a dictionary learning approach for classifying the low-resolution probe image. An important feature of our algorithm is that it can handle resolution change along with illumination variations. Furthermore, we also kernelize the algorithm to handle non-linearity in data and present a joint dictionary learning technique for robust recognition at low resolutions. The effectiveness of the proposed method is demonstrated using standard datasets and a challenging outdoor face dataset. It is shown that our method is efficient and can perform significantly better than many competitive low resolution face recognition algorithms.

연구 동기 및 목표

• 제어되지 않은 조건, 즉 조명, 자세, 블러 변형이 있는 저해상도 얼굴 인식 문제를 해결하기 위해.
• 초해상도 갤러리 이미지를 활용하여 다양한 훈련 샘플을 합성함으로써 정확도를 향상시키고, 프로브의 초해상도 복원에만 의존하지 않기 위해.
• 해상도 변화와 조명 변형을 동시에 처리할 수 있는 강건하고 계산 효율적인 방법을 개발하기 위해.
• 비선형 데이터 관계를 모델링하는 커널화된 및 공동 희소 코딩 프레임워크를 통해 인식 성능을 향상시키기 위해.

제안 방법

• 이 방법은 이미지 재조명 기술을 사용하여 각 고해상도 갤러리 이미지의 다수의 조명 변형을 생성하여 조명 변화에 대한 강건성을 향상시킨다.
• 합성된 갤러리 이미지의 해상도를 프로브 이미지 해상도에 맞추기 위해 다운샘플링하여 훈련 단계에서 일치를 확보한다.
• 각 주제에 대해 해상도가 일치하고 조명이 증강된 갤러리 데이터를 기반으로 K-SVD를 사용해 클래스별 사전를 학습한다.
• 테스트 단계에서는 프로브 이미지를 각 클래스별 사전의 선형 조합에 투영하고, 재구성 오차를 기반으로 분류를 수행한다.
• 비선형 데이터 분포를 처리하기 위해 알고리즘을 커널화하고, 강건성을 향상시키기 위해 이중 수준의 희소 코딩 프레임워크를 도입한다.
• 재구성과 분류를 동시에 최적화하는 공동 희소 코딩 전략을 제안하여 저해상도 및 다양한 조건에서 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 고해상도 갤러리 이미지에서 조명 변형 훈련 데이터를 합성하는 생성적 접근법이 조명 변화가 있는 저해상도 얼굴 인식에 성능 향상을 이끌 수 있는가?
• RQ2 사전 학습 과정의 커널화가 비선형 저해상도 얼굴 데이터에 대한 인식 성능에 어떤 영향을 미치는가?
• RQ3 이중 수준의 희소 코딩 프레임워크가 해상도 및 조명 변화가 있는 저해상도 얼굴 인식에서 기존의 희소 코딩보다 뛰어난 성능을 보일 수 있는가?
• RQ4 특히 실외 조건에서 프로브 이미지가 갤러리 이미지와 해상도와 조명에서 다를 경우, 제안된 방법이 높은 정확도를 유지할 수 있는가?

주요 결과

• 14×10 해상도의 프로브를 사용한 AR 데이터셋에서 제안된 kerSLRFR 방법은 랭크-1 인식 정확도 78.3%를 달성하여 CLPM 및 기타 기준 방법들을 능가했다.
• 20×20 해상도의 프로브를 사용한 도전적인 실외 얼굴 데이터셋에서 kerSLRFR 및 jointKerSLRFR 방법은 71.1%의 인식 정확도를 기록하여 CLPM(16.7%) 및 reg LDA(60%)를 크게 앞섰다.
• SLRFR 방법은 실외 데이터셋에서 67.8%의 인식 정확도를 달성하여 블러, 자세, 조명 변형에 강건함을 입증했다.
• 이 방법은 계산 효율성이 뛰어나 7×6 해상도에서 평균 0.1초 내로 프로브 분류가 가능하여 실시간 응용에 적합하다.
• 각 주제당 하나의 고해상도 갤러리 이미지를 활용해 다양한 훈련 샘플을 합성함으로써 일반화 능력이 크게 향상되며, 특히 고해상도 갤러리 이미지가 하나뿐인 경우에 특히 유리하다.