[논문 리뷰] Face Image Analysis using AAM, Gabor, LBP and WD features for Gender, Age, Expression and Ethnicity Classification

N. S. Lakshmiprabha|arXiv (Cornell University)|2016. 03. 29.

Face recognition and analysis참고 문헌 31인용 수 6

한 줄 요약

이 논문은 얼굴 이미지에서 성별, 연령, 표정, 민족을 동시에 분류하기 위해 활성 어파라전스 모델(AAM), 고버 웨이블릿, 국소 이진 패턴(LBP), 웨이블릿 분해(WD)를 평가한다. 신경망을 사용하여 AAM이 가장 높은 정확도와 빠른 테스트 시간을 기록하는 것으로 나타났고, WD는 훈련에서 가장 효율적이었다. 성별 인식에 특화된 연령 추정을 통합하면 정확도가 향상되며, AAM, LBP 또는 WD 특징을 사용할 경우 모든 속성을 1초 이내에 추출할 수 있다.

ABSTRACT

The growth in electronic transactions and human machine interactions rely on the information such as gender, age, expression and ethnicity provided by the face image. In order to obtain these information, feature extraction plays a major role. In this paper, retrieval of age, gender, expression and race information from an individual face image is analysed using different feature extraction methods. The performance of four major feature extraction methods such as Active Appearance Model (AAM), Gabor wavelets, Local Binary Pattern (LBP) and Wavelet Decomposition (WD) are analyzed for gender recognition, age estimation, expression recognition and racial recognition in terms of accuracy (recognition rate), time for feature extraction, neural training and time to test an image. Each of this recognition system is compared with four feature extractors on same dataset (training and validation set) to get a better understanding in its performance. Experiments carried out on FG-NET, Cohn-Kanade, PAL face database shows that each method has its own merits and demerits. Hence it is practically impossible to define a method which is best at all circumstances with less computational complexity. Further, a detailed comparison of age estimation and age estimation using gender information is provided along with a solution to overcome aging effect in case of gender recognition. An attempt has been made in obtaining all (i.e. gender, age range, expression and ethnicity) information from a test image in a single go.

연구 동기 및 목표

• 성별, 연령, 표정, 민족 분류 작업에 대해 네 가지 특징 추출 방법—AAM, 고버, LBP, WD—의 성능을 분석하고 비교하는 것.
• 성별, 연령, 표정, 민족 분류에 대해 인식 정확도와 계산 효율성(특징 추출, 훈련 및 테스트 시간)을 평가하는 것.
• 노화가 성별 인식 정확도에 미치는 영향을 조사하고, 성별에 맞는 연령 추정을 통해 이를 완화할 수 있는 해결책을 제안하는 것.
• 단일 얼굴 이미지에서 실시간으로 성별, 연령 범위, 표정, 민족을 동시에 정확하게 추출할 수 있는 가능성을 입증하는 것.

제안 방법

• 얼굴 이미지의 형태와 텍스처 변화를 모델링하기 위해 활성 어파라전스 모델(AAM)을 사용한 특징 추출.
• 국소 주파수 및 방향성 특징을 캡처하여 텍스처 분석에 활용하기 위해 고버 웨이블릿을 적용.
• 얼굴 영역의 국소 텍스처 패턴을 인코딩하기 위해 국소 이진 패턴(LBP) 특징을 계산.
• 다중 해상도 공간 주파수 특징을 추출하기 위해 웨이블릿 분해(WD)를 사용.
• 각 분류 작업(성별, 연령, 표정, 민족)에 대해 추출된 특징을 사용해 전방향 신경망을 훈련.
• 노화의 영향을 줄이기 위해 성별 분류 출력을 성별에 맞는 연령 추정기로 연결하여 캐스케이딩하는 방식.

실험 결과

연구 질문

• RQ1 AAM, 고버, LBP, WD 중에서 성별, 연령, 표정, 민족 분류 작업 전반에서 가장 높은 인식 정확도를 달성하는 특징 추출기는 무엇인가?
• RQ2 특징 추출, 신경망 훈련, 테스트 시간 측면에서 네 가지 특징 추출기 간의 계산 비용을 비교할 경우 어떤가?
• RQ3 노화가 성별 인식 정확도에 어느 정도 영향을 미치며, 성별에 맞는 연령 추정을 통합함으로써 이를 완화할 수 있는가?
• RQ4 단일 얼굴 이미지를 사용하여 성별, 연령 범위, 표정, 민족을 저지연으로 동시에 정확하게 예측할 수 있는가?
• RQ5 다양한 데이터베이스 간의 표정 스타일과 민족 특징 표현의 차이가 인식 성능에 미치는 영향은 무엇이며, 이를 개선하기 위한 전략은 무엇인가?

주요 결과

• AAM은 성별, 연령, 표정, 민족 분류 전반에서 가장 높은 인식 정확도를 기록했으며, 네 가지 방법 중에서 가장 빠른 테스트 시간을 보였다.
• LBP와 고버 웨이블릿은 유사한 인식 정확도를 보였지만, LBP가 고버에 비해 계산 비용이 더 적었다.
• 웨이블릿 분해(WD)는 훈련 및 테스트 단계에서 모두 가장 낮은 계산 비용을 보였으며, 저지연 응용 분야에 적합했다.
• 성별 정보를 연령 추정에 통합함으로써 연령 예측 정확도가 향상되었으며, 특히 노화의 영향이 뚜렷한 경우에 효과적이었다.
• AAM, LBP, WD 특징을 사용하여 단일 얼굴 이미지에서 성별, 연령 범위, 표정, 민족을 모두 1초 이내에 성공적으로 추출했다.
• 표정 및 민족 분류 오류는 주로 데이터셋 간의 표정 스타일과 민족 특징 표현의 차이에서 기인했으며, 이는 다양한 훈련 데이터가 필요하다는 점을 시사한다.