[논문 리뷰] Quality Classified Image Analysis with Application to Face Detection and Recognition

Fei Yang, Qian Zhang외 2명|arXiv (Cornell University)|2018. 01. 19.

Face recognition and analysis참고 문헌 11인용 수 3

한 줄 요약

이 논문은 혼합된 이미지 품질을 가진 실세계 시나리오에서 얼굴 검출 및 인식 성능을 햖थ한 품질 분류 기반의 이미지 분석 프레임워크를 제안한다. 깊이 신경망을 활용해 이미지 열화 유형(예: JPEG 압축, 저해상도)과 심각도를 분류하고, 품질별로 특화된 검출기 및 인식기의 예측을 융합함으로써, 혼합 품질 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성한다. 얼굴 검출의 mAP는 0.9602로 향상되었고, 얼굴 인식의 정확도는 65.81%에 도달했다.

ABSTRACT

Motion blur, out of focus, insufficient spatial resolution, lossy compression and many other factors can all cause an image to have poor quality. However, image quality is a largely ignored issue in traditional pattern recognition literature. In this paper, we use face detection and recognition as case studies to show that image quality is an essential factor which will affect the performances of traditional algorithms. We demonstrated that it is not the image quality itself that is the most important, but rather the quality of the images in the training set should have similar quality as those in the testing set. To handle real-world application scenarios where images with different kinds and severities of degradation can be presented to the system, we have developed a quality classified image analysis framework to deal with images of mixed qualities adaptively. We use deep neural networks first to classify images based on their quality classes and then design a separate face detector and recognizer for images in each quality class. We will present experimental results to show that our quality classified framework can accurately classify images based on the type and severity of image degradations and can significantly boost the performances of state-of-the-art face detector and recognizer in dealing with image datasets containing mixed quality images.

연구 동기 및 목표

• 이미지 품질이 얼굴 검출 및 인식 성능에 미치는 중대한 영향을 고려하지 않는 경향이 있으나, 이에 대응하고자 한다.
• 최적의 성능을 위해 훈련 및 테스트 데이터가 유사한 이미지 품질을 가져야 하며, 단지 높은 품질이면 충분하지 않음을 입증하고자 한다.
• 이미지 열화 유형과 심각도(예: JPEG, 저해상도)를 분류하여 적응형 처리를 위한 프레임워크를 개발하고자 한다.
• 입력 이미지의 품질에 따라 적합한 품질별 검출기 및 인식기를 선택하고 융합하는 모델 융합 전략을 설계하고자 한다.
• 실세계 혼합 품질 데이터셋을 대상으로 프레임워크를 검증하여 기존 표준 방법 대비 뚜렷한 성능 향상을 입증하고자 한다.

제안 방법

• 딥 신경망을 훈련하여 입력 이미지를 열화 유형(예: JPEG 압축 또는 저해상도)과 심각도에 따라 품질 클래스로 분류한다.
• 프레임워크는 테스트 이미지를 특정 품질 클래스로 할당하기 전에 품질 분류기를 사용하여 각 이미지를 라우팅한다.
• 각 품질 클래스에 대해 동일한 열화 특성을 가진 데이터셋에서 별도의 얼굴 검출기 및 인식기를 훈련한다.
• 추론 과정에서 예측 확률 상위 K개(예: K=1, 3, 5)의 품질별 전용 모델을 선택하고, 그 예측 결과를 융합하여 정확도를 향상시킨다.
• 프레임워크 내에서 최신 기술 수준의 모델들인 Faster R-CNN과 VGG_Face를 기반 학습기(base learners)로 활용한다.
• 프레임워크는 혼합 품질 테스트 데이터셋에서 검출 성능은 mAP, 인식 성능는 정확도로 평가된다.

실험 결과

연구 질문

• RQ1 표준 얼굴 검출 및 인식 모델의 성능이 이미지 품질에 의해 크게 떨어지는가?
• RQ2 모델 성능이 절대적인 이미지 품질보다는 훈련 및 테스트 데이터의 품질이 유사해야 하는지에 더 의존하는가?
• RQ3 딥 러닝 기반 분류기가 이미지 열화 유형과 심각도(예: JPEG 압축, 저해상도)를 정확히 식별할 수 있는가?
• RQ4 품질별 전용 모델의 예측을 융합하는 것이 표준 모델 대비 혼합 품질 데이터셋에서 성능 향상에 기여하는가?
• RQ5 제안된 프레임워크가 다양한 이미지 품질을 가진 실세계 이미지 분석 시나리오에서 기준 모델 대비 얼마나 뛰어난 성능을 보이는가?

주요 결과

• 혼합 품질 데이터셋에서 상위 5개의 품질별 전용 모델 예측을 융합할 경우, 제안된 프레임워크는 얼굴 검출 mAP 0.9602를 달성하여 표준 모델보다 뚜렷이 뛰어난 성능을 보였다.
• 고품질 데이터만으로 훈련한 경우, 혼합 품질 테스트 데이터에서 얼굴 검출 mAP는 0.7292로 떨어지며, 품질 불일치가 부정적인 영향을 미친다는 점을 입증했다.
• 실제 품질을 알고 있는 타겟 모델 접근법을 사용할 경우, mAP는 0.9557에 도달하여, 품질 인지 모델링이 이상적인 성능을 거의 복원할 수 있음을 보여주었다.
• 혼합 품질 데이터셋에서 얼굴 인식 정확도는 표준 모델 기준 61.4%에서 K=5 융합 기준 65.81%로 향상되어 일관된 성능 향상을 입증했다.
• 품질 분류기는 JPEG 압축과 저해상도 열화를 정확히 구분하여 적절한 모델로의 라우팅을 효과적으로 가능하게 했다.
• K=5 융합에서 가장 높은 성능을 기록하여, 단일 모델에 의존하는 것보다 여러 전용 모델을 융합하는 것이 더 효과적임을 시사했다.