[논문 리뷰] Predicting Face Recognition Performance Using Image Quality

Abhishek Dutta, Raymond Veldhuis외 1명|arXiv (Cornell University)|2015. 10. 24.

Face and Expression Recognition참고 문헌 3인용 수 9

한 줄 요약

이 논문은 이미지 품질 특징(예: 자세, 조명)만을 사용하여 얼굴 인식 성능을 예측하는 베이지안 생성 모델을 제안한다. 이는 사전 검증 성능 추정을 가능하게 한다. 모델은 편향이 없는 이미지 품질 평가기(IQA)와 함께 사용될 경우 정확한 예측을 달성하지만, IQA가 포착하지 못한 품질 변동은 주로 예측 오차의 원인이 된다.

ABSTRACT

This paper proposes a data driven model to predict the performance of a face recognition system based on image quality features. We model the relationship between image quality features (e.g. pose, illumination, etc.) and recognition performance measures using a probability density function. To address the issue of limited nature of practical training data inherent in most data driven models, we have developed a Bayesian approach to model the distribution of recognition performance measures in small regions of the quality space. Since the model is based solely on image quality features, it can predict performance even before the actual recognition has taken place. We evaluate the performance predictive capabilities of the proposed model for six face recognition systems (two commercial and four open source) operating on three independent data sets: MultiPIE, FRGC and CAS-PEAL. Our results show that the proposed model can accurately predict performance using an accurate and unbiased Image Quality Assessor (IQA). Furthermore, our experiments highlight the impact of the unaccounted quality space -- the image quality features not considered by IQA -- in contributing to performance prediction errors.

연구 동기 및 목표

• 비표준 이미지 조건에서 얼굴 인식 시스템의 개별 인스턴스에 대한 성능 불확실성 정량화의 부족을 해결한다.
• 데이터 기반 성능 예측 모델에서 제한된 훈련 데이터 문제를 해결하기 위해, 품질 공간의 소규모 영역에서 성능 분포를 모델링하기 위해 베이지안 접근법을 사용한다.
• 유사도 점수에 의존하지 않고 이미지 품질 특징만을 기반으로 실제 인식 이전에 인식 성능(FNMR, FMR 등)을 예측하는 방법을 개발한다.
• IQA가 포착하지 못한 이미지 품질 변동이 예측 정확도에 미치는 영향을 조사하고, 데이터셋 간 일반화에 영향을 주는 핵심 요소를 규명한다.

제안 방법

• 이미지 품질 특징 𝐪와 인식 성능 측정치 𝐫의 결합 분포를 생성적 베이지안 프레임워크로 모델링한다.
• 이미지 품질과 성능 간의 관계를 밀도 함수로 표현하여 특정 운영 지점에서 FNMR 및 FMR의 확률적 예측을 가능하게 한다.
• 품질 공간의 데이터가 적은 영역에서 성능 분포를 추정하기 위해 베이지안 비모수적 접근법을 적용하여, 제한된 훈련 샘플에서도 안정성을 향상시킨다.
• 학습된 모델에서 랜덤 샘플링을 통해 합성 데이터를 생성하여 최종 예측 모델 P(𝐪, 𝐫)를 훈련시킴으로써 희귀한 품질 조합의 커버리지 확보를 도모한다.
• 세 개의 독립된 데이터셋(MultiPIE, FRGC, CAS-PEAL)에서 두 개의 상용 및 네 개의 오픈소스 얼굴 인식 시스템을 대상으로 모델을 평가한다.
• 이미지 품질 평가기(IQA)를 사용해 품질 특징을 추출하며, 모델의 정확도는 IQA가 모든 관련 품질 변동을 포착할 수 있는 능력에 의해 결정된다.

실험 결과

연구 질문

• RQ1 유사도 점수에 의존하지 않고 이미지 품질 특징만을 사용하여 데이터 기반 모델이 얼굴 인식 성능을 정확하게 예측할 수 있는가?
• RQ2 베이지안 모델링 접근법이 품질 공간의 데이터가 부족한 영역에서 성능 예측을 어떻게 향상시키는가?
• RQ3 IQA가 포착하지 못한 이미지 품질 변동이 예측 정확도에 어떤 영향을 미치는가?
• RQ4 모델은 다양한 얼굴 인식 시스템과 이미지 수집 조건이 다른 독립된 데이터셋 간에 어떻게 일반화되는가?
• RQ5 이미지 품질 평가기(IQA)의 품질이 성능 예측의 신뢰성에 어느 정도 영향을 미치는가?

주요 결과

• 정확하고 편향이 없는 이미지 품질 평가기(IQA)와 함께 사용될 경우 제안된 모델은 다양한 시스템과 데이터셋에서 강력한 예측 능력을 입증하며 정확한 성능 예측을 달성한다.
• 예측 정확도는 시스템 간에 크게 차이가 난다: Gabor-Jet와 LGBPHS는 낮은 예측 오차를 보이며, COTS-B와 cLDA는 높은 오차를 보여, 시스템별로 간과된 품질 요소에 대한 민감도의 차이를 시사한다.
• 예측 오차의 주요 원인은 IQA가 포착하지 못한 품질 공간의 변동성이다. 이는 포괄적인 IQA 설계의 필요성을 강조한다.
• Controlled 데이터셋인 MultiPIE와 CAS-PEAL조차도 상당한 양의 간과된 품질 변동성을 내포하고 있어, 이는 모델의 일반화 및 예측 신뢰성에 영향을 준다.
• 모델은 일부 시스템에서 오른쪽 시선 뷰에서 왼쪽 시선 뷰보다 더 높은 인식 성능를 보이는 비직관적인 시스템 행동을 드러내며, 이러한 뷰 간 차이를 IQA가 식별할 수 있을 때에만 이를 포착할 수 있다.
• 이 연구는 다양한 생체인식 응용 분야에서 신뢰할 수 있고 상호 운용 가능한 성능 예측을 가능하게 하기 위해 투명하고 표준화되며 포괄적인 IQA 시스템 개발의 필요성을 부각시킨다.