[논문 리뷰] SenTion: A framework for Sensing Facial Expressions

Rahul Islam, Karan Ahuja외 2명|arXiv (Cornell University)|2016. 08. 16.

Emotion and Mood Recognition참고 문헌 38인용 수 7

한 줄 요약

SenTion은 기하학적 특징을 위해 상호 벡터 각도(IVA)와 외관 특징을 위해 기울기 히스토그램(HOG)을 융합하는 새로운 사람 독립적이고 척도 불변의 표정 인식 프레임워크를 제안한다. 하이브리드 모델은 CK+ 데이터셋에서 97.38%의 정확도를 기록했으며, 고성능 GPU 없이도 표준 CPU에서 실시간으로 15–18 fps를 구현하여 최신 기술들을 능가하면서도 자원이 제한된 환경에서도 계산 효율성이 뛰어나다.

ABSTRACT

Facial expressions are an integral part of human cognition and communication, and can be applied in various real life applications. A vital precursor to accurate expression recognition is feature extraction. In this paper, we propose SenTion: A framework for sensing facial expressions. We propose a novel person independent and scale invariant method of extracting Inter Vector Angles (IVA) as geometric features, which proves to be robust and reliable across databases. SenTion employs a novel framework of combining geometric (IVA's) and appearance based features (Histogram of Gradients) to create a hybrid model, that achieves state of the art recognition accuracy. We evaluate the performance of SenTion on two famous face expression data set, namely: CK+ and JAFFE; and subsequently evaluate the viability of facial expression systems by a user study. Extensive experiments showed that SenTion framework yielded dramatic improvements in facial expression recognition and could be employed in real-world applications with low resolution imaging and minimal computational resources in real-time, achieving 15-18 fps on a 2.4 GHz CPU with no GPU.

연구 동기 및 목표

• 다양한 데이터베이스에서 안정적으로 작동하는 사람 독립적이고 척도 불변의 표정 인식 시스템을 개발하기 위해.
• 기존 방법의 한계인 높은 계산 비용, 척도 및 개인 차이에 대한 민감성, 데이터셋 간 일반화 능력 부족 문제를 해결하기 위해.
• 기하학적(IVA) 및 외관 기반(HOG) 특징을 융합한 하이브리드 특징 융합 모델을 구축하여 정확도와 강건성을 향상시키기 위해.
• 실제 환경에서의 표정 표현과 인식의 용이성을 측정하는 새로운 사용자 연구를 통해 표정 인식 시스템의 실용적 활용 가능성을 검증하기 위해.

제안 방법

• 척도 및 개인 특이성 변화에 강인한 새로운 기하학적 특징 추출 방법으로 상호 벡터 각도(IVA)를 제안한다.
• IVA 특징을 기울기 히스토그램(HOG)과 융합하여 형태와 질감 정보를 모두 반영하는 하이브리드 특징 표현을 구성한다.
• CK+ 및 JAFFE 데이터셋에서 훈련 및 교차 검증을 수행하는 표준 분류기 파이프라인을 활용하며, 특징 선택 및 분류를 포함한다.
• 다섯 명의 비배우자 참여자에게 리커트 척도를 사용해 표정 표현 및 인식의 용이성을 평가하는 사용자 연구를 실시하며, 세 명의 인간 평가자가 익명으로 평가한다.
• 표준 평가 지표인 정확도, 혼동 행렬, 그리고 고성능 GPU 없이 2.4 GHz CPU에서의 프레임 속도(15–18 fps)를 사용해 성능을 평가한다.
• 일반화 능력을 테스트하기 위해 교차 데이터셋 평가를 실시하며, 다양한 데이터베이스에서 IVA와 HOG의 특징 기여도를 분석한다.

실험 결과

연구 질문

• RQ1 기하학적(IVA) 및 외관 기반(HOG) 특징을 융합한 하이브리드 모델이 여러 표정 인식 데이터베이스에서 뛰어난 안정성 있는 성능을 달성할 수 있는가?
• RQ2 제안된 IVA 기반 기하학적 특징은 척도 및 개인 차이에 대해 기존 기하학적 또는 외관 기반 방법보다 더 강건한가?
• RQ3 실제 환경에서 연기되지 않은 상황에서 인간이 느끼는 표정의 표현 가능성과 인식 가능성은 어느 정도로 다양하게 나타나는가?
• RQ4 제안된 시스템은 낮은 계산 오버헤드로 높은 정확도를 달성할 수 있으며, 고성능 GPU 없이도 표준 CPU에서 실시간 배포가 가능한가?

주요 결과

• 하이브리드 SenTion 모델은 CK+ 데이터셋에서 97.38%의 정확도를 기록하여 최신 기술들을 능가하며 강력한 일반화 능력을 입증했다.
• CK+ 데이터셋에서는 IVA 특징이 성능 향상에 더 크게 기여했고, JAFFE 데이터셋에서는 HOG 특징이 더 두드러진 기여를 하여 상호 보완적인 강점을 보였다.
• 고성능 GPU 없이 2.4 GHz CPU에서 시스템은 15–18 프레임 매초를 기록하여 최소한의 계산 자원으로도 실시간 응용이 가능함을 확인했다.
• 사용자 연구 결과, '행복', '놀람', '분노'는 가장 쉽게 표현되고 인식되는 감정이었으며, 표현 용이성과 인식 용이성 간에 강한 상관관계를 보였다.
• '분노', '슬픔', '혐오' 간의 혼동이 관찰되었으며, 주로 기하학적 및 외관 특징이 겹치는 데 기인했고, 특히 강도가 낮은 표현을 포함한 JAFFE 데이터셋에서 두드러졌다.
• IVA + HOG 하이브리드 모델은 개별 특징 집합보다 더 안정적이고 정확하여, 추가 적응 없이도 다양한 데이터베이스에서 특징 융합의 유용성을 확인했다.