[논문 리뷰] Dynamic Model of Facial Expression Recognition based on Eigen-face Approach

Nikunj Bajaj, Aurobinda Routray외 1명|arXiv (Cornell University)|2013. 11. 23.

Face and Expression Recognition참고 문헌 14인용 수 7

한 줄 요약

이 논문은 주성분 분석(PCA)과 하르 유사 특징을 활용하여 얼굴을 검출하고 얼굴 표정의 시간적 변화를 모델링하는 고유 얼굴(eigen-face) 접근 방식을 조합한 동적 표정 인식 모델을 제안한다. 순차적인 얼굴 영상을 주성분 고유 방향에 투영하고 가중치 벡터의 동역학을 분석함으로써, 개인별 접근 방식을 통해 기쁨, 슬픔, 놀람, 분노의 네 가지 기본 감정을 분류하며, 개인 간 표정 변동성과 강도의 차이에도 불구하고 강건한 인식 성능을 달성한다.

ABSTRACT

Emotions are best way of communicating information; and sometimes it carry more information than words. Recently, there has been a huge interest in automatic recognition of human emotion because of its wide spread application in security, surveillance, marketing, advertisement, and human-computer interaction. To communicate with a computer in a natural way, it will be desirable to use more natural modes of human communication based on voice, gestures and facial expressions. In this paper, a holistic approach for facial expression recognition is proposed which captures the variation in facial features in temporal domain and classifies the sequence of images in different emotions. The proposed method uses Haar-like features to detect face in an image. The dimensionality of the eigenspace is reduced using Principal Component Analysis (PCA). By projecting the subsequent face images into principal eigen directions, the variation pattern of the obtained weight vector is modeled to classify it into different emotions. Owing to the variations of expressions for different people and its intensity, a person specific method for emotion recognition is followed. Using the gray scale images of the frontal face, the system is able to classify four basic emotions such as happiness, sadness, surprise, and anger.

연구 동기 및 목표

• 얼굴 특징의 시간적 변화를 포괄적으로 포착하는 동적 자동 표정 인식 모델을 개발하기 위해.
• 다른 사람 간 표정의 개인적 변동성과 강도 차이를 해결하기 위해.
• 고유공간 투영을 통해 얼굴 특징의 변화를 모델링하여 감정 인식 정확도를 향상시키기 위해.
• 기쁨, 슬픔, 놀람, 분노와 같은 감정을 인식함으로써 자연스러운 인간-컴퓨터 상호작용을 가능하게 하기 위해.
• 다양한 표정 패턴에서 성능을 향상시키기 위해 개인별 특화된 인식 전략을 구현하기 위해.

제안 방법

• 그레이스케일 영상에서 얼굴을 국소화하기 위해 하르 유사 특징을 사용하여 얼굴 검출을 수행한다.
• 얼굴 영상 공간의 차원을 감소시키기 위해 주성분 분석(PCA)을 적용하여 고유공간을 구성한다.
• 후속 얼굴 영상들은 주성분 고유 방향에 투영되어 얼굴 변동성을 나타내는 가중치 벡터를 추출한다.
• 가중치 벡터의 시간적 동역학을 모델링하여 영상 시퀀스 간 표정의 진화를 포착한다.
• 개인 간 차이를 반영하기 위해 개인별 특화된 분류 전략을 채택한다.
• 감소된 고유공간에서 가중치 벡터의 동적 행동을 분석하여 감정 분류를 수행한다.

실험 결과

연구 질문

• RQ1 표정의 시간적 변화를 효과적으로 모델링하여 감정 인식 성능을 향상시킬 수 있는가?
• RQ2 개인별 특화 모델링이 다양한 표정 패턴에서 인식 정확도를 얼마나 향상시키는가?
• RQ3 PCA 기반 고유공간 표현이 기쁨, 슬픔, 놀람, 분노와 같은 기본 감정을 위한 분류적 특징을 효과적으로 포착할 수 있는가?
• RQ4 하르 유사 특징이 동적 표정 인식 맥락에서 안정적인 얼굴 검출에 어떻게 기여하는가?
• RQ5 표정 강도의 변동성이 인식 성능에 미치는 영향은 무엇이며, 이를 어떻게 완화할 수 있는가?

주요 결과

• 제안된 방법은 표정 시퀀스의 동적 모델링을 통해 네 가지 기본 감정인 기쁨, 슬픔, 놀람, 분노를 성공적으로 분류한다.
• 개인별 특화 모델링은 개인 간 표정 강도와 패턴의 차이를 반영함으로써 인식 성능을 크게 향상시킨다.
• PCA의 사용은 차원 감소를 효과적으로 수행하면서도 감정 분류를 위한 분류적 특징을 유지한다.
• 고유공간 내 가중치 벡터의 시간적 모델링을 통해 프레임 간 표정 진화를 정확하게 추적할 수 있다.
• 하르 유사 특징은 정면 그레이스케일 영상에서 신뢰할 수 있는 얼굴 검출을 제공하여 인식 파이프라인의 안정적인 입력을 형성한다.
• 동적이고 개인별 특화된 접근 방식을 통해 표정 강도의 변동성과 개인의 얼굴 특징에 대한 저항성을 보여준다.