[논문 리뷰] Training-Free Synthesized Face Sketch Recognition Using Image Quality Assessment Metrics

Nannan Wang, Jie Li외 3명|arXiv (Cornell University)|2016. 03. 25.

Image and Video Quality Assessment참고 문헌 14인용 수 9

한 줄 요약

이 논문은 훈련이 필요 없는 얼굴 스케치 인식 프레임워크를 제안하며, 전면 기반 이미지 품질 평가(IQA) 지표—SSIM, VIF, FSIM, GMSD—를 활용하여 프로브 스케치를 합성된 정면 사진 스케치 갤러리와 매칭한다. 1-NN 분류에서 IQA 점수를 유사도 측정치로 사용함으로써, 기준 K-NN 및 전통적인 에igenface 훈련 기반 방법보다 뛰어난 정확도를 달성하며, MWF 합성 방법에서 얻은 스케치를 대상으로 최고의 랭크-1 정확도 84.91%를 기록한다.

ABSTRACT

Face sketch synthesis has wide applications ranging from digital entertainments to law enforcements. Objective image quality assessment scores and face recognition accuracy are two mainly used tools to evaluate the synthesis performance. In this paper, we proposed a synthesized face sketch recognition framework based on full-reference image quality assessment metrics. Synthesized sketches generated from four state-of-the-art methods are utilized to test the performance of the proposed recognition framework. For the image quality assessment metrics, we employed the classical structured similarity index metric and other three prevalent metrics: visual information fidelity, feature similarity index metric and gradient magnitude similarity deviation. Extensive experiments compared with baseline methods illustrate the effectiveness of the proposed synthesized face sketch recognition framework. Data and implementation code in this paper are available online at www.ihitworld.com/WNN/IQA_Sketch.zip.

연구 동기 및 목표

• 비용이 많이 들고 시간이 오래 소요되는 스케치 데이터 수집 및 분류기 학습을 피하는 훈련이 필요 없는 얼굴 스케치 인식 프레임워크를 개발하기 위해.
• 인식 성능의 대체 지표로 사용하기 위해 전면 기반 이미지 품질 평가(IQA) 지표를 활용해 합성된 얼굴 스케치를 평가하기 위해.
• 합성 및 IQA 기반 매칭을 통해 스케치와 정면 사진 간 도메인 갭을 줄임으로써 스케치-사진 매칭 정확도를 향상시키기 위해.
• 가시광선-적외선 또는 사진-스케치와 같은 이종 얼굴 이미지 변환 작업에 대해 일반화 가능한 평가 프레임워크를 제공하기 위해.
• IQA 지표가 훈련 없이도 효과적인 인식 유사도 측정치로 기능할 수 있음을 입증하기 위해.

제안 방법

• 4개의 최신 합성 방법(LLE, SSD, MRF, MWF)을 사용해 갤러리에 있는 모든 정면 사진을 스케치로 변환한다.
• 각 프로브 스케치를 기준 이미지로 간주하고, 갤러리의 각 합성 스케치를 전면 기반 IQA 설정에서 왜곡된 이미지로 간주한다.
• 프로브 스케치와 갤러리 내 각 합성 스케치 간의 IQA 점수(SSIM, VIF, FSIM, GMSD)를 계산한다.
• 가장 높은 IQA 점수를 기록한 갤러리 스케치를 선택하여 1-NN 분류를 수행한다.
• 누적 매칭 정확도(CMA) 및 랭크 기반 평가를 통해 다양한 IQA 지표 및 합성 방법에서의 인식 성능을 측정한다.
• 반복적인 무작위 샘플링을 활용하고 평균 정확도 보고를 통해 제안된 IQA 기반 프레임워크를 기준 K-NN 및 훈련 기반 에igenface 방법과 비교한다.

실험 결과

연구 질문

• RQ1 전면 기반 이미지 품질 평가 지표가 합성된 얼굴 스케치 매칭을 위한 전통적 인식 방법에 효과적으로 대체될 수 있는가?
• RQ2 IQA 지표 기반의 훈련이 필요 없는 프레임워크가 스케치 인식에서 기존의 K-NN 및 훈련 기반 방법(예: 에igenface)을 초월할 수 있는가?
• RQ3 합성된 스케치에 적용했을 때, SSIM, VIF, FSIM, GMSD 중 어떤 IQA 지표가 가장 높은 인식 정확도를 달성하는가?
• RQ4 IQA 기반 인식으로 평가했을 때, LLE, SSD, MRF, MWF 등의 다양한 얼굴 스케치 합성 방법 간의 성능는 어떻게 비교되는가?
• RQ5 제안된 IQA 기반 프레임워크가 얼굴 스케치 합성 품질에 대한 신뢰할 수 있는 평가 지표로 기능할 수 있는가?

주요 결과

• 제안된 IQA 기반 프레임워크는 MWF 합성 방법에서 생성된 스케치를 대상으로 VIF 지표를 사용할 때 최고의 랭크-1 정확도 84.91%를 기록한다.
• LLE 방법은 FSIM 지표를 사용했을 때 랭크-50 정확도 98.22%를 기록하여 높은 순위에서의 강력한 성능을 보였다.
• IQA 기반 방법은 모든 지표 및 합성 방법에서 기준 K-NN보다 뛰어난 성능을 보이며, 일관된 인식 정확도 향상을 보였다.
• 이 프레임워크는 전통적인 훈련 기반 에igenface 방법을 뛰어넘어, 네 가지 합성 방법 전반에서 평균 정확도가 높았다.
• MWF 방법은 일관되게 높은 성능을 보였으며, VIF를 사용할 경우 랭크-1 정확도가 최고였고, GMSD 및 FSIM에서도 우수한 성능를 기록했다.
• 이 프레임워크는 사진-스케치를 넘어서 가시광선-적외선 등 다른 이종 얼굴 이미지 변환 작업에도 적용 가능함을 보여주며 일반화 가능성을 입증했다.