[論文レビュー] Does the Goal Matter? Emotion Recognition Tasks Can Change the Social Value of Facial Mimicry towards Artificial Agents

Giulia Perugia, Maike Paetzel+5 more|arXiv (Cornell University)|Oct 29, 2021

Face Recognition and Perception参考文献 73被引用数 8

ひとこと要約

本研究は、感情認識タスクにおける人工エージェントの身体的実体化と人間らしさが、自発的および指示付きの顔の模倣に与える影響を調査する。コンピュータビジョンを用いてアクションユニットの強度を検出することで、より人間らしいエージェントは自発的な模倣が少なくなることが判明した。これは、このような文脈では模倣が共感構築よりも認識のためのものである可能性を示唆している。

ABSTRACT

In this paper, we present a study aimed at understanding whether the embodiment and humanlikeness of an artificial agent can affect people's spontaneous and instructed mimicry of its facial expressions. The study followed a mixed experimental design and revolved around an emotion recognition task. Participants were randomly assigned to one level of humanlikeness (between-subject variable: humanlike, characterlike, or morph facial texture of the artificial agents) and observed the facial expressions displayed by three artificial agents differing in embodiment (within-subject variable: video-recorded robot, physical robot, and virtual agent) and a human (control). To study both spontaneous and instructed facial mimicry, we divided the experimental sessions into two phases. In the first phase, we asked participants to observe and recognize the emotions displayed by the agents. In the second phase, we asked them to look at the agents' facial expressions, replicate their dynamics as closely as possible, and then identify the observed emotions. In both cases, we assessed participants' facial expressions with an automated Action Unit (AU) intensity detector. Contrary to our hypotheses, our results disclose that the agent that was perceived as the least uncanny, and most anthropomorphic, likable, and co-present, was the one spontaneously mimicked the least. Moreover, they show that instructed facial mimicry negatively predicts spontaneous facial mimicry. Further exploratory analyses revealed that spontaneous facial mimicry appeared when participants were less certain of the emotion they recognized. Hence, we postulate that an emotion recognition goal can flip the social value of facial mimicry as it transforms a likable artificial agent into a distractor. Further work is needed to corroborate this hypothesis. Nevertheless, our findings shed light on the functioning of human-agent and human-robot mimicry in emotion recognition tasks and help us to unravel the relationship between facial mimicry, liking, and rapport.

研究の動機と目的

• 人工エージェントの身体的実体化と人間らしさが、自発的および指示付きの顔の模倣に与える影響を検証すること。
• 顔の模倣が、人間-エージェント対話における好みや共感の行動的指標として機能するかどうかを調査すること。
• 特に感情認識というタスク文脈が、人工エージェントに対する模倣の社会的価値に与える影響を明らかにすること。
• 自動化された顔のアクションユニット強度検出法が、HRI環境における非侵襲的行動測定に実用可能かどうかを評価すること。
• 模倣が常に肯定的な社会的評価を示すという仮定を、特に人工エージェントの文脈において検証すること。

提案手法

• 45名の参加者を対象に、3体の人工エージェント（物理的ロボット、ビデオ記録されたロボット、バーチャルエージェント）および人間コントロールを含む感情認識タスクを実施した混合実験デザインを採用。
• 人間らしさを3段階（人間的、キャラクター的、変形した顔面テクスチャ）に変化させ、被験者内要因として用いた。
• 実験を2段階に分けた：(1) 感情認識中の自発的模倣、(2) 顔の動きを再現するよう指示された模倣。
• HupontとChetouaniのコンピュータビジョンベースのアクションユニット強度検出器を用い、参加者の顔の表情をリアルタイムで分析。
• 2段階目では、模倣が意図的であることを模倣するように、刺激順序を再シャッフルした。これは、模倣が感情認識の正確性を向上させるとの仮説に基づく。
• 動画データを収集・分析し、AU強度スコアを用いて自発的および指示付きの顔の模倣を定量的に評価した。

実験結果

リサーチクエスチョン

• RQ1 人工エージェントの人間らしさと身体的実体化のレベルが、参加者の自発的顔の模倣頻度に影響を与えるか？
• RQ2 感情認識タスクにおける、指示付き顔の模倣と自発的顔の模倣の相関関係は？
• RQ3 感情認識という目的がある場合、人工エージェントに対する顔の模倣の社会的価値は変化するか？
• RQ4 顔の模倣は、人間-人工エージェント対話における好みや共感の信頼できる行動的指標として機能するか？
• RQ5 どのような条件下で模倣が認識支援として機能し、共感構築のメカニズムとして機能しないのか？

主な発見

• 最も人間らしく、好まれやすく、共存感のあるエージェント（不気味さが最も低いと認識された）は、自発的模倣で最も少なく模倣された。これは当初の仮説とは逆の結果であった。
• 指示付き顔の模倣は、自発的顔の模倣と有意な負の予測関係にあり、高い意図的模倣は低い自発的模倣と関連していることを示した。
• 参加者が表示される感情について確信が持てないとき、自発的顔の模倣が増加した。これは、模倣が不確実性下での認識戦略として機能している可能性を示唆している。
• 結果から、感情認識タスクにおいて顔の模倣は、共感構築という社会的機能ではなく、認知的機能（感情の推論）を果たしている可能性が示唆され、とくにエージェントが高レベルの人間らしさを示す場合に顕著であった。
• 当初の仮説の支持が得られなかったものの、本研究は自発的顔の模倣が好みや共感の有効な行動的手がかりのままであることを確認した。また、指示付き模倣は、それの代理として機能しうることも示された。
• コンピュータビジョンベースのAU強度検出法は、現実の現場応用において実用的であることが判明したが、照明条件や視点の変化に対する耐性はさらなる改善が求められる。