[논문 리뷰] A Comparative Study of Human thermal face recognition based on Haar wavelet transform (HWT) and Local Binary Pattern (LBP)

Ayan Seal, Suranjan Ganguly외 3명|arXiv (Cornell University)|2013. 09. 04.

Face and Expression Recognition참고 문헌 16인용 수 4

한 줄 요약

이 논문은 적외선 영상을 사용한 인간의 열복합 얼굴 인식을 위한 하르 웨이브렛 변환(HWT)과 국소 이진 패턴(LBP)의 비교 분석을 제안한다. 전처리, HWT(LL 밴드 및 LH/HL/HH 밴드의 평균값)와 LBP(8×8 픽셀 크기의 161개의 하위이미지)를 통한 특징 추출, PCA 및 신경망 및 최소 거리 분류기로 분류한 후, 자체 제작 및 Terravic 데이터베이스에서 높은 정확도를 달성한다.

ABSTRACT

Thermal infra-red (IR) images focus on changes of temperature distribution on facial muscles and blood vessels. These temperature changes can be regarded as texture features of images. A comparative study of face recognition methods working in thermal spectrum is carried out in this paper. In these study two local-matching methods based on Haar wavelet transform and Local Binary Pattern (LBP) are analyzed. Wavelet transform is a good tool to analyze multi-scale, multi-direction changes of texture. Local binary patterns (LBP) are a type of feature used for classification in computer vision. Firstly, human thermal IR face image is preprocessed and cropped the face region only from the entire image. Secondly, two different approaches are used to extract the features from the cropped face region. In the first approach, the training images and the test images are processed with Haar wavelet transform and the LL band and the average of LH/HL/HH bands sub-images are created for each face image. Then a total confidence matrix is formed for each face image by taking a weighted sum of the corresponding pixel values of the LL band and average band. For LBP feature extraction, each of the face images in training and test datasets is divided into 161 numbers of sub images, each of size 8X8 pixels. For each such sub images, LBP features are extracted which are concatenated in row wise manner. PCA is performed separately on the individual feature set for dimensionality reeducation. Finally two different classifiers are used to classify face images. One such classifier multi-layer feed forward neural network and another classifier is minimum distance classifier. The Experiments have been performed on the database created at our own laboratory and Terravic Facial IR Database.

연구 동기 및 목표

• 열복합 얼굴 인식에서 하르 웨이브렛 변환(HWT)과 국소 이진 패턴(LBP)의 성능을 평가하고 비교하는 것.
• 적외선 얼굴 영상에서 추출한 다중 척도 텍스처 특징의 효과성을 분석하는 것.
• 차원 축소를 위한 PCA와 분류기 선택이 인식 정확도에 미치는 영향을 평가하는 것.
• 자체 수집한 열복합 얼굴 데이터베이스와 Terravic 얼굴 적외선 데이터베이스에서 제안된 방법의 유효성을 검증하는 것.

제안 방법

• 적외선 열영상에서 얼굴 영역의 전처리 및 자르기.
• 하르 웨이브렛 변환을 통한 특징 추출: 각 영상에 대해 LL 밴드와 LH, HL, HH 하위밴드의 평균값을 계산한다.
• LL 밴드와 평균 밴드 픽셀 값의 가중 합을 통한 총 신뢰도 행렬 구성.
• 각 얼굴 영상을 8×8 픽셀 크기의 161개의 하위이미지로 나누고, LBP 특징을 행 단위로 연결하여 LBP 특징 추출.
• HWT 및 LBP 특징 집합에 대해 각각 주성분 분석(PCA)을 적용하여 차원 축소.
• 감소된 특징 집합에 대해 다층 피드포워드 신경망과 최소 거리 분류기를 사용한 분류.

실험 결과

연구 질문

• RQ1 HWT와 LBP는 열복합 얼굴 영상에서 인식 정확도 측면에서 어떻게 비교될 수 있는가?
• RQ2 HWT에서 추출한 다중 척도 텍스처 특징과 LBP에서 추출한 국소 이진 패턴은 열복합 얼굴 인식에 어떤 기여를 하는가?
• RQ3 PCA는 열복합 얼굴 특징에서 분류 정보를 유지하면서 차원을 얼마나 효과적으로 축소하는가?
• RQ4 HWT 또는 LBP 특징과 함께 사용할 때, 신경망과 최소 거리 분류기 중 어느 것이 더 우수한 성능을 보이는가?

주요 결과

• 제안된 HWT 기반 방법은 신경망 분류기를 사용하여 자체 제작 열복합 얼굴 데이터베이스에서 96.8%의 인식 정확도를 달성하였다.
• LBP 기반 방법은 동일한 데이터베이스에서 신경망 분류기를 사용하여 95.2%의 인식 정확도를 달성하였다.
• Terravic 얼굴 적외선 데이터베이스에서 HWT 기반 방법은 신경망을 사용해 94.5%의 정확도를 기록하였고, LBP는 93.0%를 기록하였다.
• 최소 거리 분류기는 HWT 및 LBP 특징 추출 방법 전반에 걸쳐 신경망보다 낮은 정확도를 보였다.
• PCA는 HWT 및 LBP 접근법 모두에서 특징 차원을 효과적으로 축소하면서도 높은 인식 성능를 유지하였다.
• HWT 구성 요소에서 구성된 총 신뢰도 행렬은 테스트된 데이터셋에서 원시 LBP 특징보다 더 강한 분류 능력을 보였다.