[논문 리뷰] Automatic facial feature extraction and expression recognition based on neural network

S. P. Khandait, Ravindra C. Thool외 1명|arXiv (Cornell University)|2012. 04. 10.

Face and Expression Recognition참고 문헌 15인용 수 12

한 줄 요약

이 논문은 전방 정지 영상에서 자동으로 얼굴 특징을 추출하고 표정을 인식하기 위한 신경망 기반 시스템을 제시한다. 피드포워드 백프로파게이션 네트워크를 사용하여 표정을 일곱 가지 카테고리로 분류한다. 형태학적 연산, SUSAN 에지 검출, 기하학적 분석을 활용하여 특징를 국소화하며, JAFFE 데이터베이스에서 95.26%의 테스트 정확도를 달성한다.

ABSTRACT

In this paper, an approach to the problem of automatic facial feature extraction from a still frontal posed image and classification and recognition of facial expression and hence emotion and mood of a person is presented. Feed forward back propagation neural network is used as a classifier for classifying the expressions of supplied face into seven basic categories like surprise, neutral, sad, disgust, fear, happy and angry. For face portion segmentation and localization, morphological image processing operations are used. Permanent facial features like eyebrows, eyes, mouth and nose are extracted using SUSAN edge detection operator, facial geometry, edge projection analysis. Experiments are carried out on JAFFE facial expression database and gives better performance in terms of 100% accuracy for training set and 95.26% accuracy for test set.

연구 동기 및 목표

• 전방 정지 영상에서 얼굴 특징을 자동으로 추출하는 시스템을 개발하기 위해.
• 표정을 일곱 가지 기본 카테고리로 분류하기 위해: 놀람, 중립, 슬픔, 혐오, 두려움, 기쁨, 분노.
• 추출된 얼굴 특징을 기반으로 인간의 정서와 기분을 인식하기 위해.
• 신경망 분류를 통해 표정 인식 정확도를 향상시키기 위해.
• 표준 표정 인식 데이터베이스(JAFFE)를 사용하여 시스템 성능을 검증하기 위해.

제안 방법

• 형태학적 영상 처리 연산을 사용한 얼굴 영역 국소화 및 분할.
• SUSAN 에지 검출 연산자를 활용한 영구적 얼굴 특징(눈, 눈썹, 입, 코)의 추출.
• 얼굴 기하학 및 에지 투영 분석을 적용하여 특징 국소화를 정밀화.
• 전방향 전파 신경망을 사용하여 표정을 일곱 가지 사전 정의된 카테고리로 분류.
• JAFFE 데이터베이스를 사용하여 시스템의 학습 및 테스트를 수행.
• 표현 분류를 위한 지도 학습 기반 다층 퍼셉트론 분류기 구현.

실험 결과

연구 질문

• RQ1 형태학적 연산이 전방 정지 영상에서 얼굴 영역을 효과적으로 분할할 수 있는가?
• RQ2 SUSAN 에지 검출과 기하학적 제약 조건이 눈, 눈썹, 입, 코와 같은 주요 얼굴 특징을 신뢰성 있게 추출할 수 있는가?
• RQ3 전방향 전파 신경망이 일곱 가지 기본 표정 카테고리로 표정을 얼마나 정확하게 분류할 수 있는가?
• RQ4 시스템은 JAFFE 데이터베이스의 미사용 테스트 데이터에서 어떤 성능을 보이는가?
• RQ5 제안된 표정 인식 프레임워크에서 학습 정확도와 테스트 정확도 사이의 상충 관계는 어떠한가?

주요 결과

• 표현 분류에 대해 학습 세트에서 100%의 정확도를 달성하였다.
• 테스트 세트 정확도는 95.26%에 도달하여 뛰어난 일반화 성능을 보였다.
• 형태학적 연산이 전방 포즈 영상에서 얼굴 영역을 효과적으로 국소화하였다.
• SUSAN 에지 검출과 기하학적 제약 조건을 조합하여 영구적 얼굴 특징을 견고하게 추출할 수 있었다.
• 전방향 전파 신경망은 표정을 일곱 가지 구분 가능한 카테고리로 성공적으로 분류하였다.
• 전체 프레임워크는 표준 JAFFE 표정 인식 데이터베이스에서 높은 신뢰성과 정확도를 보였다.