[논문 리뷰] Classification of fused face images using multilayer perceptron neural network

Debotosh Bhattacharjee, Mrinal Kanti Bhowmik외 3명|arXiv (Cornell University)|2010. 07. 05.

Face and Expression Recognition참고 문헌 17인용 수 7

한 줄 요약

이 논문은 조명, 자세, 표정 변화에 대한 강건성을 향상시키기 위해 픽셀 수준의 융합을 사용하여 시각적 및 열성면 영상의 융합 기반 얼굴 인식 방법을 제안한다. 융합된 영상들은 고유공간에 투영되고 다층퍼셉트론을 통해 분류되며, OTCBVS 데이터베이스에서 95.07%의 인식 성공률을 기록하여 개별 모odalities에 비해 뚜렷한 성능 향상을 보였다.

ABSTRACT

This paper presents a concept of image pixel fusion of visual and thermal faces, which can significantly improve the overall performance of a face recognition system. Several factors affect face recognition performance including pose variations, facial expression changes, occlusions, and most importantly illumination changes. So, image pixel fusion of thermal and visual images is a solution to overcome the drawbacks present in the individual thermal and visual face images. Fused images are projected into eigenspace and finally classified using a multi-layer perceptron. In the experiments we have used Object Tracking and Classification Beyond Visible Spectrum (OTCBVS) database benchmark thermal and visual face images. Experimental results show that the proposed approach significantly improves the verification and identification performance and the success rate is 95.07%. The main objective of employing fusion is to produce a fused image that provides the most detailed and reliable information. Fusion of multiple images together produces a more efficient representation of the image.

연구 동기 및 목표

• 조명 변화, 자세 변화, 표정 변화와 같은 도전적인 조건 하에서 얼굴 인식 성능을 향상시키기 위해.
• 단독으로 사용되는 시각적 또는 열성 얼굴 인식의 한계를 보완하기 위해 두 모odalities 간의 상보적 정보를 융합하기 위해.
• 더 나은 분류를 위해 단일이고 세밀하며 신뢰할 수 있는 표현을 생성하는 강력한 이미지 융합 기술을 개발하기 위해.
• 다층퍼셉트론(MLP) 신경망이 융합된 얼굴 영상 분류에 얼마나 효과적인지 평가하기 위해.
• 픽셀 수준의 시각적 및 열성 영상 융합이 인증 및 식별 정확도를 향상시킨다는 것을 입증하기 위해.

제안 방법

• 시각적 및 열성 얼굴 영상을 픽셀 수준에서 융합하여 구조적 및 열성 정보가 향상된 복합 영상을 생성하기 위해.
• 주성분분석(PCA)을 사용하여 융합된 영상들을 고유공간에 투영하여 차원 감소 및 특징 추출하기 위해.
• 차원 감소된 고유공간 특징에 대해 분류를 위해 다층퍼셉트론(MLP) 신경망을 훈련하기 위해.
• 시각적 및 열성 얼굴 영상이 동기화된 OTCBVS 데이터베이스를 벤치마크 데이터셋으로 사용하기 위해.
• 융합 및 특징 추출 이전에 정규화 및 정렬과 같은 표준 전처리 단계를 적용하기 위해.
• 역전파를 사용하여 이진 및 다중 클래스 얼굴 인식 작업을 위한 MLP 아키텍처를 최적화하기 위해.

실험 결과

연구 질문

• RQ1 시각적 및 열성 얼굴 영상의 픽셀 수준 융합이 악조건 하에서 인식 성능을 향상시킬 수 있는가?
• RQ2 시각적 및 열성 데이터의 조합이 얼굴 특징의 분류 능력에 어떤 영향을 미치는가?
• RQ3 융합된 얼굴 영상에 대해 MLP 분류기가 분류 정확도를 얼마나 향상시키는가?
• RQ4 고유공간 투영이 인식 시스템의 일반화 능력과 효율성에 어떤 영향을 미치는가?
• RQ5 제안된 융합 방법은 개별 시각적 또는 열성 얼굴 인식 시스템과 비교해 어떻게 성능이 뛰어나게 되는가?

주요 결과

• 제안된 융합 방법은 OTCBVS 기준 벤치마크 데이터베이스에서 95.07%의 인식 성공률을 달성했다.
• 융합된 영상들은 시각적 또는 열성 영상만 사용할 경우보다 더 세밀하고 신뢰할 수 있는 정보를 제공했다.
• 픽셀 수준 융합과 MLP 분류의 조합은 개별 모달리티 인식 시스템을 크게 능가하는 성능을 보였다.
• 고유공간 투영은 분류를 위한 분류 능력 있는 특징을 유지하면서 차원 감소를 효과적으로 수행했다.
• 이 방법은 조명 변화, 자세 변화, 표정 차이에 대해 강건성을 보였다.
• 결과는 다중 모달리틱 융합이 얼굴 인식 시스템의 전체 성능을 향상시킨다는 것을 확인시켰다.