[논문 리뷰] Does the Goal Matter? Emotion Recognition Tasks Can Change the Social Value of Facial Mimicry towards Artificial Agents

Giulia Perugia, Maike Paetzel외 5명|arXiv (Cornell University)|2021. 10. 29.

Face Recognition and Perception참고 문헌 73인용 수 8

한 줄 요약

이 연구는 인공 에이전트의 몸체화와 인간다움이 정서 인식 작업 중 자발적 및 지시된 얼굴 모방에 어떻게 영향을 미치는지 조사한다. 행동 단위 강도를 감지하기 위해 컴퓨터 비전 기술을 사용한 결과, 더 인간다운 에이전트일수록 자발적인 모방이 덜 일어나는 것으로 나타나, 이러한 맥락에서 모방은 연락을 위한 것이 아니라 정서 인식을 위한 것일 수 있음을 시사한다.

ABSTRACT

In this paper, we present a study aimed at understanding whether the embodiment and humanlikeness of an artificial agent can affect people's spontaneous and instructed mimicry of its facial expressions. The study followed a mixed experimental design and revolved around an emotion recognition task. Participants were randomly assigned to one level of humanlikeness (between-subject variable: humanlike, characterlike, or morph facial texture of the artificial agents) and observed the facial expressions displayed by three artificial agents differing in embodiment (within-subject variable: video-recorded robot, physical robot, and virtual agent) and a human (control). To study both spontaneous and instructed facial mimicry, we divided the experimental sessions into two phases. In the first phase, we asked participants to observe and recognize the emotions displayed by the agents. In the second phase, we asked them to look at the agents' facial expressions, replicate their dynamics as closely as possible, and then identify the observed emotions. In both cases, we assessed participants' facial expressions with an automated Action Unit (AU) intensity detector. Contrary to our hypotheses, our results disclose that the agent that was perceived as the least uncanny, and most anthropomorphic, likable, and co-present, was the one spontaneously mimicked the least. Moreover, they show that instructed facial mimicry negatively predicts spontaneous facial mimicry. Further exploratory analyses revealed that spontaneous facial mimicry appeared when participants were less certain of the emotion they recognized. Hence, we postulate that an emotion recognition goal can flip the social value of facial mimicry as it transforms a likable artificial agent into a distractor. Further work is needed to corroborate this hypothesis. Nevertheless, our findings shed light on the functioning of human-agent and human-robot mimicry in emotion recognition tasks and help us to unravel the relationship between facial mimicry, liking, and rapport.

연구 동기 및 목표

• 인공 에이전트의 몸체화와 인간다움이 자발적 및 지시된 얼굴 모방에 영향을 미치는지 검토하기 위해.
• 얼굴 모방이 인간-에이전트 상호작용에서 선호도와 유대감의 행동적 지표로 기능할 수 있는지 조사하기 위해.
• 특히 정서 인식이라는 작업 맥락이 인공 에이전트에 대한 모방의 사회적 가치에 어떻게 영향을 미치는지 탐색하기 위해.
• 자동화된 얼굴 행동 단위 감지 기법이 HRI 환경에서 침습적이지 않은 행동 측정 수단으로 가능한지 평가하기 위해.
• 특히 인공 에이전트 맥락에서 모방이 항상 긍정적인 사회적 평가를 나타낸다는 가정을 도전하기 위해.

제안 방법

• 45명의 참가자를 대상으로 혼합 실험 설계를 실시하여, 세 명의 인공 에이전트(물리적 로봇, 영상 기록된 로봇, 가상 에이전트)와 인간 대조군이 포함된 정서 인식 작업을 수행하였다.
• 에이전트의 인간다움을 세 수준으로 다양화함: 인간다운, 캐릭터다운, 변형된 얼굴 텍스처 (내부 참가자 변수).
• 실험을 두 단계로 나누어 진행함: (1) 정서 인식 중 자발적 모방, (2) 얼굴 역동성의 복제를 지시한 모방.
• Hupont과 Chetouani의 컴퓨터 비전 기반 행동 단위 강도 감지기법을 사용하여 참가자의 얼굴 표정을 실시간으로 분석함.
• 두 번째 단계에서 자극 순서를 재배열하여 의도적인 모방을 시뮬레이션함. 이는 모방이 정서 인식 정확도를 향상시킬 수 있다는 가설에 기반함.
• 비디오 데이터를 수집하고 분석하여 자발적 및 지시된 얼굴 모방을 AU 강도 점수를 사용해 정량화함.

실험 결과

연구 질문

• RQ1 인공 에이전트의 인간다움 수준과 몸체화가 인간 참가자의 자발적 얼굴 모방 빈도에 영향을 미치는가?
• RQ2 정서 인식 작업에서 지시된 얼굴 모방과 자발적 얼굴 모방 간의 상관관계는 어떠한가?
• RQ3 정서 인식이라는 목적이 존재할 경우, 인공 에이전트에 대한 얼굴 모방의 사회적 가치가 어떻게 변화하는가?
• RQ4 얼굴 모방이 인간-인공 에이전트 상호작용에서 선호도와 유대감의 신뢰할 수 있는 행동적 지표로 기능할 수 있는가?
• RQ5 어떤 조건에서 모방이 사회적 유대 형성 메커니즘 대신 정서 인식 보조 수단으로 작용하는가?

주요 결과

• 가장 인간다운, 가장 선호도가 높고 함께 존재하는 에이전트—비록 불쾌감을 느끼지 않는다고 평가되었지만—자발적 모방에서 가장 덜 모방된 것으로 나타나, 초기 가설과 정반대되는 결과를 보였다.
• 지시된 얼굴 모방은 자발적 얼굴 모방과 유의미한 음성 예측 관계를 보였으며, 이는 더 높은 의도적 모방일수록 자발적 모방 빈도가 낮다는 것을 의미한다.
• 참가자가 표정의 정서를 더 확신하지 못할 경우 자발적 얼굴 모방이 증가하여, 모방이 불확실성 상황에서 정서 인식 전략으로 작용할 수 있음을 시사한다.
• 결과적으로 정서 인식 작업 맥락에서 얼굴 모방은 사회적 기능(유대감 형성)이 아닌 인지적 기능(정서 추론)을 수행할 수 있음을 시사하며, 특히 에이전트가 매우 인간다운 것으로 인식될 경우 더욱 그렇다.
• 초기 가설에 대한 지지가 없었음에도 불구하고, 이 연구는 자발적 얼굴 모방이 여전히 선호도와 유대감에 대한 유효한 행동적 단서임을 확인하였고, 지시된 모방은 이를 대체할 수 있는 지표로 기능할 수 있음을 시사한다.
• 컴퓨터 비전 기반 AU 강도 감지 방법은 현장 적용에 있어 타당성을 입증하였지만, 조명 조건과 시야 각도의 변동에 대한 강건성 향상은 향후 개선이 필요하다.