[논문 리뷰] DeXpression: Deep Convolutional Neural Network for Expression Recognition

P. Burkert, Felix Trier외 3명|arXiv (Cornell University)|2015. 09. 17.

Emotion and Mood Recognition참고 문헌 15인용 수 107

한 줄 요약

DeXpression는 수작업 특징 추출 없이 엔드 투 엔드 특징 학습을 사용하여 원시 이미지에서 계층적인 얼굴 표현을 직접 학습하는 새로운 딥 컨volution 신경망(CNN) 아키텍처를 제안한다. 이 모델은 확장된 Cohn-Kanade(CK+) 데이터셋에서 99.6%의 정확도와 MMI 데이터셋에서 98.63%의 정확도를 달성하여 이전의 CNN 기반 방법들을 능가한다. 모델은 다중 크기의 컨볼루션 레이어, ReLU 활성화 함수, 최대 풀링을 조합한 고유한 특징 추출 모듈(FeatEx)을 사용하여 얼굴 표현을 학습한다.

ABSTRACT

We propose a convolutional neural network (CNN) architecture for facial expression recognition. The proposed architecture is independent of any hand-crafted feature extraction and performs better than the earlier proposed convolutional neural network based approaches. We visualize the automatically extracted features which have been learned by the network in order to provide a better understanding. The standard datasets, i.e. Extended Cohn-Kanade (CKP) and MMI Facial Expression Databse are used for the quantitative evaluation. On the CKP set the current state of the art approach, using CNNs, achieves an accuracy of 99.2%. For the MMI dataset, currently the best accuracy for emotion recognition is 93.33%. The proposed architecture achieves 99.6% for CKP and 98.63% for MMI, therefore performing better than the state of the art using CNNs. Automatic facial expression recognition has a broad spectrum of applications such as human-computer interaction and safety systems. This is due to the fact that non-verbal cues are important forms of communication and play a pivotal role in interpersonal communication. The performance of the proposed architecture endorses the efficacy and reliable usage of the proposed work for real world applications.

연구 동기 및 목표

• 수작업 특징에 의존하지 않는 완전 자동화된 엔드 투 엔드 딥 러닝 프레임워크를 개발하여 얼굴 표정 인식을 수행한다.
• 기존의 CNN 기반 접근 방식을 향상시키기 위해 뛰어난 일반화 능력과 정확도를 갖춘 새로운 효율적인 아키텍처를 도입한다.
• 자동으로 학습된 특징을 시각화하여 네트워크의 결정 과정을 더 잘 이해할 수 있도록 해석 가능성을 제공한다.
• 표준 벤치마크(CK+ 및 MMI)에서 모델을 평가하여 표정 인식 분야에서 최고 성능을 입증한다.

제안 방법

• 제안된 아키텍처인 DeXpression은 다중 크기의 필터를 가진 복수의 컨볼루션 레이어를 통합하여 다중 해상도의 얼굴 특징을 캡처하는 고유한 특징 추출 모듈인 FeatEx를 중심으로 구성된다.
• FeatEx는 비선형성과 공간 불변성을 향상시키기 위해 ReLU 활성화 함수와 최대 풀링 레이어를 통합한다.
• 모델은 원시 입력 이미지에서 스토케스틱 그래디언트 디센트를 사용하여 훈련되며, 사전 처리나 수동 특징 공학 없이 엔드 투 엔드 학습이 가능하다.
• 성능 평가를 위해 CK+ 및 MMI 데이터셋 모두에 대해 10겹 교차 검증 전략을 적용하여 안정성과 일반화 능력을 확보한다.
• 모델는 GoogLeNet에 영감을 받았지만 계산 비용을 줄이기 위해 단순화되어 높은 정확도를 유지한다.
• 특징 시각화를 통해 네트워크가 학습한 내부 표현을 해석하며, 특히 분류에 기여하는 주요 얼굴 영역을 집중적으로 분석한다.

실험 결과

연구 질문

• RQ1 딥 CNN 아키텍처가 수작업 특징에 의존하지 않고도 표정 인식 분야에서 최고 성능을 달성할 수 있는가?
• RQ2 제안된 FeatEx 모듈이 표준 CNN 아키텍처에 비해 표정 분류를 위한 분류 가능한 얼굴 특징을 얼마나 잘 학습하는가?
• RQ3 원시 이미지에서의 엔드 투 엔드 훈련이 사전 처리된 또는 랜드마크 기반 입력에 비해 표정 인식 작업에 어떤 영향을 미치는가?
• RQ4 오류 분류가 발생하는 원인은 무엇이며, 모호하거나 초기 단계의 감정 프레임에서 어떤 패턴이 나타나는가?
• RQ5 학습된 특징이 얼마나 해석 가능하여 네트워크의 결정 논리 과정을 이해하는 데 기여할 수 있는가?

주요 결과

• DeXpression은 확장된 Cohn-Kanade(CK+) 데이터셋에서 10겹 교차 검증 정확도 99.6%를 달성하여 이전 최고 기록인 99.2%를 초월한다.
• MMI 얼굴 표정 데이터베이스에서는 98.63%의 정확도를 기록하며, 이는 이전 최고 기록인 93.33%를 뛰어넘는 성과이다.
• 오류 분류의 주요 원인은 표정이 완전히 발현되지 않은 초기 단계의 프레임에서 발생하며, 일반적으로 중립 또는 전이 상태를 띤다.
• CK+에서 가장 높은 혼동률은 놀라움(Surprise)과 혐오(Disgust) 사이에 관찰되며 0.045%이며, MMI에서는 공포(Fear)와 놀라움(Surprise) 사이에 0.0159%로 나타나, 넓게 열린 눈과 입의 유사한 구조로 인해 발생한다.
• 모델은 중립 또는 감정이 없는 프레임에 대해 강건성을 보이며, 대부분의 오류는 명확한 감정 표현이 아닌 모호하거나 강도가 낮은 감정 표현에서 기인한다.
• 특징 시각화 결과 네트워크가 눈, 눈썹, 입과 같은 주요 얼굴 영역에 집중하여 학습하는 것으로 확인되었으며, 이는 알려진 표정 동작 단위와 일치한다.