[논문 리뷰] Fine-Grained Facial Expression Analysis Using Dimensional Emotion Model

Feng Zhou, Shu Kong외 3명|arXiv (Cornell University)|2018. 05. 02.

Face and Expression Recognition참고 문헌 39인용 수 9

한 줄 요약

이 논문은 연속적인 감정 공간(조절성과 각성도)으로 얼굴 표정을 회귀하는 딥러닝 접근법을 제안하여, 이산 감정 분류를 넘어서 미세한 감정 강도와 다양한 감정 상태를 분석한다. 이중 차수 특징 상호작용을 모델링하기 위해 이중 풀링을 적용한 CNN을 사용하여, 정서 컴퓨팅 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, 표준 CNN 기반 베이스라인에 비해 미세한 감정 강도와 다양한 감정 상태를 더 잘 포착하는 데에 뛰어난 성능을 보였다.

ABSTRACT

Automated facial expression analysis has a variety of applications in human-computer interaction. Traditional methods mainly analyze prototypical facial expressions of no more than eight discrete emotions as a classification task. However, in practice, spontaneous facial expressions in naturalistic environment can represent not only a wide range of emotions, but also different intensities within an emotion family. In such situation, these methods are not reliable or adequate. In this paper, we propose to train deep convolutional neural networks (CNNs) to analyze facial expressions explainable in a dimensional emotion model. The proposed method accommodates not only a set of basic emotion expressions, but also a full range of other emotions and subtle emotion intensities that we both feel in ourselves and perceive in others in our daily life. Specifically, we first mapped facial expressions into dimensional measures so that we transformed facial expression analysis from a classification problem to a regression one. We then tested our CNN-based methods for facial expression regression and these methods demonstrated promising performance. Moreover, we improved our method by a bilinear pooling which encodes second-order statistics of features. We showed such bilinear-CNN models significantly outperformed their respective baselines.

연구 동기 및 목표

• 자연스러운 얼굴 표정에서 미세하고 다양한 감정 상태를 포착하는 데 있어 이산 감정 분류의 한계를 해결하기 위해.
• 감정을 연속적인 회귀 문제로 모델링하기 위해, 감정의 차원 모델(조절성과 각성도)을 사용하여 얼굴 표정을 분석하기 위해.
• 더 나은 특징 표현을 위해 이중 풀링을 적용한 딥 컨volution 신경망(CNN)을 활용하여 미세한 표정 분석 성능을 향상시키기 위해.
• 실제 세계의 감정 변화와 강도를 반영하는 더 설명 가능하고 세밀한 얼굴 표정 분석을 가능하게 하기 위해.
• 표준 CNN 기반 베이스라인에 비해 벤치마크 데이터셋에서 뛰어난 성능을 보여주기 위해.

제안 방법

• 조절성과 각성도를 연속적인 회귀 목표로 사용하여 얼굴 표정을 차원 감정 공간으로 매핑하였다.
• 얼굴 이미지에서 연속적인 조절성 및 각성도 점수를 예측하기 위해 딥 컨volution 신경망(CNN)을 훈련시켰다.
• CNN 특징 간의 이차 통계적 상호작용을 포착하기 위해 이중 풀링을 도입하여 표현 학습을 향상시켰다.
• 이중 풀링을 CNN와 결합하여 특징 동시 발생을 더 효과적으로 모델링하는 이중-CNN 모델을 구축하였다.
• 조절성과 각성도의 회귀를 위해 평균 제곱 오차 손실을 사용하여 모델을 엔드 투 엔드로 훈련시켰다.
• 표준 얼굴 표정 데이터셋에서 성능을 평가하고, 표준 CNN 기반 베이스라인과의 성능를 비교하였다.

실험 결과

연구 질문

• RQ1 이산 카테고리가 아닌 연속적인 감정 공간에서 감정을 모델링할 경우, 얼굴 표정 분석 성능가 향상될 수 있는가?
• RQ2 이중 풀링은 미세한 표정 회귀를 위한 특징 표현 향상에 얼마나 효과적인가?
• RQ3 CNN 기반의 회귀 모델은 기본 감정을 넘어서 감정 강도의 미세한 변화와 다양성을 얼마나 잘 포착할 수 있는가?
• RQ4 제안된 방법은 벤치마크 데이터셋에서 표준 CNN에 비해 조절성과 각성도 점수 예측 성능에서 뛰어나게 되는가?
• RQ5 차원 감정 모델은 자연스러운 환경에서 얼굴 표정에 대한 더 세밀하고 설명 가능한 분석을 제공할 수 있는가?

주요 결과

• 제안된 이중-CNN 모델은 벤치마크 데이터셋에서 표준 CNN 기반 베이스라인에 비해 조절성 및 각성도 점수 예측 성능에서 뚜렷한 우월성을 보였다.
• 차원 감정 공간에서의 회귀 기반 모델링은 이산 분류에 비해 더 정확하고 세밀한 감정 상태 분석이 가능하게 하였다.
• 이중 풀링은 이차 통계적 의존성을 포착하여 특징 표현을 향상시켜 성능 향상에 기여하였다.
• 이 방법은 전통적인 이산 감정 인식의 범위를 초월하여 미세한 감정 강도와 다양한 감정 표현을 성공적으로 포착하였다.
• 정량적 결과는 다양한 평가 지표에서 일관된 성능 향상을 보여주었으며, 연속 회귀 접근 방식의 효과성을 입증하였다.
• 모델는 실제 자연스러운 얼굴 표정으로의 일반화 능력이 뛰어나, 인간-컴퓨터 상호작용 분야에서의 실용적 유용성을 입증하였다.