[논문 리뷰] Image Pixel Fusion for Human Face Recognition

Mrinal Kanti Bhowmik, Debotosh Bhattacharjee외 3명|arXiv (Cornell University)|2010. 07. 05.

Face and Expression Recognition참고 문헌 15인용 수 8

한 줄 요약

이 논문은 조명 변화, 얼굴 가림, 낮은 질감 가시성과 같은 도전적인 조건에서 인식 성능을 향상시키기 위해 광학 이미지와 열화상 이미지의 픽셀 수준 융합을 제안한다. 가중 평균 방법을 사용해 이미지를 융합하고, 이를 고유공간에 투영한 후 RBF 및 MLP 신경망을 사용해 분류함으로써, OTCBVS 데이터베이스에서 각각 96% 및 95.07%의 인식 정확도를 달 đạt하였다.

ABSTRACT

In this paper we present a technique for fusion of optical and thermal face images based on image pixel fusion approach. Out of several factors, which affect face recognition performance in case of visual images, illumination changes are a significant factor that needs to be addressed. Thermal images are better in handling illumination conditions but not very consistent in capturing texture details of the faces. Other factors like sunglasses, beard, moustache etc also play active role in adding complicacies to the recognition process. Fusion of thermal and visual images is a solution to overcome the drawbacks present in the individual thermal and visual face images. Here fused images are projected into an eigenspace and the projected images are classified using a radial basis function (RBF) neural network and also by a multi-layer perceptron (MLP). In the experiments Object Tracking and Classification Beyond Visible Spectrum (OTCBVS) database benchmark for thermal and visual face images have been used. Comparison of experimental results show that the proposed approach performs significantly well in recognizing face images with a success rate of 96% and 95.07% for RBF Neural Network and MLP respectively.

연구 동기 및 목표

• 다양한 조명 조건에서 시각적 얼굴 인식의 한계를 해결하기 위해.
• 열화상 얼굴 이미지의 질감 세부 정보 부족 문제를 해결하기 위해.
• 안경, 수염, 콧수염과 같은 얼굴 가림에 대한 강건성을 향상시키기 위해.
• 광학 및 열화상 영상 모odalities의 장점을 조합하는 융합 전략을 개발하기 위해.
• 고유공간 투영 및 신경망 분류기 기반으로 융합 이미지의 성능을 평가하기 위해.

제안 방법

• 광학 및 열화상 얼굴 이미지의 융합은 가중 평균 기법을 사용해 픽셀 수준에서 수행된다.
• 융합된 이미지는 주성분 분석(PCA)을 사용해 고유공간에 투영된다.
• 분류 작업은 라디얼 기저 함수(RBF) 신경망과 다층 퍼셉트론(MLP)을 사용해 수행된다.
• 객체 추적 및 가시광선 이외의 스펙트럼에서의 분류(OTCBVS) 데이터베이스가 학습 및 테스트에 사용된다.
• 융합 이미지의 가중치는 양 모달리티의 주요 특징을 유지하도록 최적화된다.
• 분류 정확도를 기반으로 여러 테스트 세트에서 인식 성능이 평가된다.

실험 결과

연구 질문

• RQ1 광학 및 열화상 얼굴 이미지의 픽셀 수준 융합이 어두운 조명 조건에서의 인식 성능을 향상시킬 수 있는가?
• RQ2 서로 보완적인 시각적 및 열화상 데이터 융합이 개별 모달리티에 비해 인식 정확도에 어떤 영향을 미치는가?
• RQ3 융합된 얼굴 이미지를 분류할 때 RBF 및 MLP 신경망의 비교 성능는 어떠한가?
• RQ4 얼굴 가림과 질감 변형은 인식에 어떤 정도의 영향을 미치며, 융합 전략은 이러한 문제를 어떻게 완화하는가?
• RQ5 융합된 이미지를 고유공간에 투영하면 분류를 위한 분류 가능한 특징 표현이 향상되는가?

주요 결과

• 제안된 픽셀 융합 방법은 RBF 신경망을 사용해 96%의 인식 정확도를 달성하였다.
• MLP 분류기는 융합된 얼굴 이미지에서 95.07%의 인식 정확도를 기록하였다.
• 융합 기법은 광학 또는 열화상 이미지만 사용할 경우보다 인식 성능 향상이著명하였다.
• 이 방법은 조도 변화 및 안경, 수염과 같은 부분적인 얼굴 가림에 대해 강건성을 보였다.
• 고유공간 투영은 차원 감소를 효과적으로 수행하면서도 분류에 유용한 특징를 유지하였다.
• OTCBVS 데이터베이스는 비이상적인 조건에서 다중 모odal 얼굴 인식을 평가하기 위한 신뢰할 수 있는 기준이 되었다.