[논문 리뷰] Context-Dependent Models for Predicting and Characterizing Facial Expressiveness

Victoria Lin, Jeffrey M. Girard외 1명|arXiv (Cornell University)|2019. 12. 10.

Emotion and Mood Recognition참고 문헌 17인용 수 4

한 줄 요약

이 논문은 인간이 코딩한 표현력 평가를 포함한 BP4D+ 데이터셋의 확장된 버전을 소개하고, 시각적 데이터로부터 순간적인 얼굴 표현력을 예측하기 위해 맥락에 따라 달라지는 모델을 제안한다. 통계적 및 딥러닝 모델을 사용하여, 표현력을 감정 맥락(예: 놀라움, 통증, 혐오) 별로 별도로 모델링할 경우 성능이 크게 향상되며, 실제 인간 수준의 상관관계를 거의 달성함을 입증한다. 이와 함께 표현력을 이끄는 맥락 특이적 시각 신호, 예를 들어 행동 단위 강도와 얼굴 이동량을 규명한다.

ABSTRACT

In recent years, extensive research has emerged in affective computing on topics like automatic emotion recognition and determining the signals that characterize individual emotions. Much less studied, however, is expressiveness, or the extent to which someone shows any feeling or emotion. Expressiveness is related to personality and mental health and plays a crucial role in social interaction. As such, the ability to automatically detect or predict expressiveness can facilitate significant advancements in areas ranging from psychiatric care to artificial social intelligence. Motivated by these potential applications, we present an extension of the BP4D+ dataset with human ratings of expressiveness and develop methods for (1) automatically predicting expressiveness from visual data and (2) defining relationships between interpretable visual signals and expressiveness. In addition, we study the emotional context in which expressiveness occurs and hypothesize that different sets of signals are indicative of expressiveness in different contexts (e.g., in response to surprise or in response to pain). Analysis of our statistical models confirms our hypothesis. Consequently, by looking at expressiveness separately in distinct emotional contexts, our predictive models show significant improvements over baselines and achieve comparable results to human performance in terms of correlation with the ground truth.

연구 동기 및 목표

• 시각적 데이터로부터 순간적인 얼굴 표현력을 자동으로 예측하는 방법을 개발하는 것. 이는 인공 사회지능 및 정신건강 평가 분야에서 매우 중요하다.
• 다양한 감정 맥락에서 표현력을 이끄는 해석 가능한 시각적 신호—예를 들어 얼굴 움직임, 제스처, 몸짓 자세—를 규명하고 특성화하는 것.
• 표현력을 나타내는 시각적 신호의 집합이 감정 맥락에 따라 달라진다는 가설을 검증하는 것 (예: 놀라움 대비 통증 대비 혐오).
• 응답 강도, 감정 강도, 운동 정도 등 다각도의 인간 평가를 기반으로 잠재변수 기반의 통합된 표현력 점수를 생성하여 강건한 모델링을 가능하게 하는 것.
• 모든 감정 상태에 걸쳐 단일 일반 모델을 사용하는 대신, 맥락에 특화된 모델을 학습시켜 예측 성능을 향상시키는 것.

제안 방법

• 응답 강도, 감정 강도, 신체/얼굴 운동에 대한 인간 평가를 추가하여 BP4D+ 데이터셋을 확장하고, 확률 모델링을 통해 잠재변수 기반의 표현력 점수를 도출하였다.
• OpenFace를 통해 추출한 시각적 특징(얼굴 랜드마크, 행동 단위, 운동 궤적 포함)을 기반으로 딥러닝 모델과 해석 가능한 통계 모델(ElasticNet 포함)을 학습시켰다.
• 감정 맥락(놀라움, 통증, 혐오)에 따라 데이터를 분할하여 학습함으로써 맥락 특이적 모델을 설계하여 맥락에 따라 달라지는 신호 기여도를 모델링할 수 있도록 하였다.
• 해석 가능한 선형 모델(ElasticNet)의 특징 가중치를 사용하여 각 맥락에서 특정 시각적 신호와 표현력 간의 관계를 분석하고 시각화하였다.
• 지표값과 인간 기준 성능을 기준으로 상관관계 및 NRMSE 지표를 사용해 모델을 평가하였으며, 통계적 유의성 검증을 실시하였다.
• 다양한 측면의 인간 평가를 통합하여 단일 통합 표현력 점수를 도출하기 위해 잠재변수 모델링을 적용하여 학습 및 평가에 활용하였다.

실험 결과

연구 질문

• RQ1 다른 감정 맥락(예: 놀라움, 통증, 혐오) 별로 표현력을 별도로 모델링할 경우, 단일 통합 모델 대비 예측 성능이 향상되는가?
• RQ2 다양한 감정 맥락에서 표현력을 가장 잘 예측하는 특정 시각적 신호—예를 들어 행동 단위, 운동 속도, 이동량—는 무엇인가?
• RQ3 동일한 시각적 신호가 다양한 감정 상태에서 표현력에 기여하는 정도는 어느 정도이며, 그 기여 방식은 어떻게 다를까?
• RQ4 맥락 특이적 모델이 표현력 예측에서 인간 수준의 상관관계를 달성할 수 있는가?
• RQ5 해석 가능한 모델 가중치는 심리학적으로 타당한 시각적 신호가 감정 반응과 어떻게 관련되어 있는지를 어떻게 드러내는가?

주요 결과

• 맥락 특이적 모델은 일반 모델 및 기준 모델을 크게 앞서며, 지표값과의 상관계수는 0.84를 기록하여 인간 기준 상관계수 0.86에 근접하였다.
• ElasticNet 모델은 지표값과의 상관계수 0.84를 기록하여 모든 기준 모델을 초월했지만, 여전히 인간 기준 수준보다 유의미하게 높은 NRMSE와 낮은 상관계수를 보였다.
• 모든 맥락에서 얼굴 운동 특징—행동 단위 수, 행동 단위 강도, 점 이동량—이 표현력 예측에 가장 유의미한 신호로 나타났다.
• 놀라움 맥락에서는 높은 표현력이 점 이동량과 속도 증가, 머리 이동량 감소, 행동 단위 수 증가와 관련이 있었으며, 이는 반사적 놀라움 반응과 일치하였다.
• 통증 맥락에서는 높은 표현력이 행동 단위 강도와 수 증가와 관련이 있었지만, 점 이동 속도는 낮아, 증가된 운동이 아닌 조절되거나 통제된 반응임을 시사하였다.
• 혐오 맥락에서는 높은 표현력이 행동 단위 강도, 점 이동량, 머리 이동량 증가와 관련이 있었으며, 이는 불쾌한 자극으로부터 몸을 떼는 반응과 일치하였다.