[논문 리뷰] Dynamic Facial Expression of Emotion Made Easy

Joost Broekens, Chao Qu외 1명|arXiv (Cornell University)|2012. 11. 19.

Social Robot Interaction and HRI참고 문헌 44인용 수 5

한 줄 요약

이 논문은 얼굴 운동 코딩 시스템(FACS)을 사용하여 가상 캐릭터의 동적 감정 표정을 생성하는 단순하고 검증되며 무료로 이용 가능한 방법을 제시한다. 개발자들이 다양한 인구 집단과 시각 조건에서 높은 인식 정확도로 기본 감정과 혼합 감정(예: 기쁨, 분노, 좌절)을 현실적으로 인식할 수 있는 표정을 쉽게 구현할 수 있도록 한다.

ABSTRACT

Facial emotion expression for virtual characters is used in a wide variety of areas. Often, the primary reason to use emotion expression is not to study emotion expression generation per se, but to use emotion expression in an application or research project. What is then needed is an easy to use and flexible, but also validated mechanism to do so. In this report we present such a mechanism. It enables developers to build virtual characters with dynamic affective facial expressions. The mechanism is based on Facial Action Coding. It is easy to implement, and code is available for download. To show the validity of the expressions generated with the mechanism we tested the recognition accuracy for 6 basic emotions (joy, anger, sadness, surprise, disgust, fear) and 4 blend emotions (enthusiastic, furious, frustrated, and evil). Additionally we investigated the effect of VC distance (z-coordinate), the effect of the VC's face morphology (male vs. female), the effect of a lateral versus a frontal presentation of the expression, and the effect of intensity of the expression. Participants (n=19, Western and Asian subjects) rated the intensity of each expression for each condition (within subject setup) in a non forced choice manner. All of the basic emotions were uniquely perceived as such. Further, the blends and confusion details of basic emotions are compatible with findings in psychology.

연구 동기 및 목표

• 가상 캐릭터에서 동적 감정적 표정을 생성하기 위한 단순하고 유연하며 검증된 메커니즘을 제공하는 것.
• 실세계 응용 프로그램에서 기본 감정과 혼합 감정을 모두 지원하는 쉽게 구현할 수 있는 솔루션의 필요성을 해결하는 것.
• 생성된 표정이 서양인과 아시아인 참가자를 포함한 다양한 사용자 집단에서 정확하게 인지될 수 있도록 보장하는 것.
• 시야 거리, 얼굴 형태, 제시 각도, 표정 강도와 같은 핵심 변수가 감정 인식에 미치는 영향을 평가하는 것.
• 인간-컴퓨터 상호작용 및 정서 컴퓨팅 연구 분야에서의 도입을 가속화하기 위해 오픈소스 코드를 제공하는 것.

제안 방법

• 이 방법은 얼굴 운동 코딩 시스템(FACS)에 기반하며, 특정 얼굴 운동 단위(AUs)를 감정 표현에 매핑한다.
• 기본 감정(기쁨, 분노, 슬픔, 놀람, 혐오, 두려움) 6종과 혼합 감정(열정, 격노, 좌절, 악의) 4종을 생성하기 위해 사전 정의된 AU 조합을 사용한다.
• 기존의 가상 캐릭터 파이프라인에 쉽게 통합될 수 있도록 설계되었으며, 공개된 소스 코드를 제공한다.
• 모르포로지컬 및 위치 파라미터를 제어하는 3차원 가상 캐릭터(VCs)를 사용해 표정을 렌더링한다.
• 참가자가 강제 선택 없이 표정 강도를 평가하는 내부 설계를 사용한 대안 설계를 채택하였다.
• 가상 캐릭터는 다양한 z-거리에서 정면 및 측면 각도에서 제시되어 인지적 내성성을 평가하였다.

실험 결과

연구 질문

• RQ1 단순한 FACS 기반 방법이 다양한 참가자들이 특정 감정으로 신뢰성 있게 인식할 수 있는 동적 표정을 생성할 수 있는가?
• RQ2 시야 거리(z좌표), 얼굴 형태(남성 대 비여성), 제시 각도(정면 대 측면)가 감정 인식 정확도에 미치는 영향은 어떠한가?
• RQ3 혼합 감정(예: 격노, 좌절)이 심리학적 연구 결과와 일치하며 정확히 구분될 수 있는 정도는 어느 정도인가?
• RQ4 표정 강도가 다양한 감정 범주에서 인식 및 감정 평가 정서 성향에 미치는 영향은 어떠한가?
• RQ5 생성된 표정이 감정 인식의 기존 심리학적 모델과 일치하는가?

주요 결과

• 기본 감정 6종(기쁨, 분노, 슬픔, 놀람, 혐오, 두려움)은 모두 참가자들에 의해 유일하게 인식되었고 정확하게 식별되었다.
• 혼합 감정(예: 열정, 격노, 좌절, 악의)의 인식 정확도는 심리학적 기대와 일치했으며 기본 감정과의 혼동도 낮았다.
• 참가자들의 인식 정확도는 다양한 시야 거리, 얼굴 형태, 제시 각도에서 높게 유지되어 이러한 요소에 대한 내성성이 높다는 것을 시사했다.
• 표정 강도 평가는 일관성이 있었으며 감정 범주 간에 유의미한 차이를 보여, 이 방법이 감정 조절에 민감함을 입증했다.
• 본 연구 결과는 제안된 방법이 서양인과 아시아인 참가자를 포함한 다양한 사용자 집단에서 정확하고 구분 가능한 감정 표정을 생성함을 입증했다.
• 오픈소스 코드의 가용성으로 인해 표현력 있는 가상 캐릭터가 필요한 애플리케이션에 빠른 배포 및 통합이 가능해졌다.