[論文レビュー] Dynamic Facial Expression of Emotion Made Easy

Joost Broekens, Chao Qu+1 more|arXiv (Cornell University)|Nov 19, 2012

Social Robot Interaction and HRI参考文献 44被引用数 5

ひとこと要約

本稿では、顔面行動コード化システム（FACS）を用いた、シンプルで検証済みかつ無料で利用可能な方法を提示しており、仮想キャラクターにおける動的で感情的な表情の生成を可能にする。開発者は、基本的および混合感情（例：喜び、怒り、いらだち）を高認識正確性で、多様なデモグラフィックおよび視認条件において、現実的で識別可能な表情を容易に実装できる。

ABSTRACT

Facial emotion expression for virtual characters is used in a wide variety of areas. Often, the primary reason to use emotion expression is not to study emotion expression generation per se, but to use emotion expression in an application or research project. What is then needed is an easy to use and flexible, but also validated mechanism to do so. In this report we present such a mechanism. It enables developers to build virtual characters with dynamic affective facial expressions. The mechanism is based on Facial Action Coding. It is easy to implement, and code is available for download. To show the validity of the expressions generated with the mechanism we tested the recognition accuracy for 6 basic emotions (joy, anger, sadness, surprise, disgust, fear) and 4 blend emotions (enthusiastic, furious, frustrated, and evil). Additionally we investigated the effect of VC distance (z-coordinate), the effect of the VC's face morphology (male vs. female), the effect of a lateral versus a frontal presentation of the expression, and the effect of intensity of the expression. Participants (n=19, Western and Asian subjects) rated the intensity of each expression for each condition (within subject setup) in a non forced choice manner. All of the basic emotions were uniquely perceived as such. Further, the blends and confusion details of basic emotions are compatible with findings in psychology.

研究の動機と目的

• 仮想キャラクターにおける動的で感情的な顔の表情を生成するための、シンプルで柔軟性があり、検証済みのメカニズムを提供すること。
• 実世界の応用において、基本的および混合感情を両方サポートできる、容易に実装可能なソリューションのニーズに対応すること。
• 生成された表情が、西洋人とアジア系参加者を含む多様なユーザーグループにおいて、知覚的に妥当であることを保証すること。
• 視認距離、顔貌の形態、提示角度、表情の強度といった主要な変数が、感情認識に与える影響を評価すること。
• 人間-コンピュータインタラクションおよび感情的コンピューティング研究における採用を促進するため、オープンソースのコードを提供すること。

提案手法

• 本手法は顔面行動コード化システム（FACS）に基づき、特定の顔面行動ユニット（AUs）を感情的表現にマッピングする。
• 基本的な6つの感情（喜び、怒り、悲しみ、驚き、嫌悪、恐怖）および4つの混合感情（熱心さ、怒り、いらだち、悪意）のための、事前に定義されたAUの組み合わせを用いて、動的で顔の表情を生成する。
• 既存の仮想キャラクターのパイプラインへの容易な統合を目的として設計されており、公開済みのソースコードを提供する。
• 顔貌および位置パラメータを制御した3次元仮想キャラクター（VCs）を用いて表情をレンダリングする。
• 被験者は強制選択なしに、表情の強度を評価する、被験者内要因の実験デザインを用いた。
• 仮想キャラクターは、前方および側面からの提示を、変化するz距離で提示し、知覚的耐性を評価した。

実験結果

リサーチクエスチョン

• RQ1 シンプルでFACSに基づく手法が、多様な参加者に対して、特定の感情として一貫して認識可能な動的で顔の表情を生成できるか？
• RQ2 視認距離（z座標）、顔貌の形態（男性対女性）、提示角度（前方対側面）が、感情認識の正確性に与える影響は何か？
• RQ3 混合感情（例：怒り、いらだち）が、知覚的に明確に区別され、心理学的知見と整合性を保っているか、その程度はいかほどか？
• RQ4 表情の強度が、さまざまな感情カテゴリーにおいて、認識度および感情の価値（valence）の認識に与える影響は何か？
• RQ5 生成された表情が、感情認識の既存の心理学的モデルと整合しているか？

主な発見

• 6つの基本的で感情（喜び、怒り、悲しみ、驚き、嫌悪、恐怖）は、すべて参加者によって一意に認識され、正しく識別された。
• 混合感情（例：熱心さ、怒り、いらだち、悪意）の認識正確性は、心理学的期待と整合しており、基本的で感情との間で混乱が少なかった。
• 参加者の認識正確性は、さまざまな視認距離、顔貌形態、提示角度においても高く維持され、これらの要因に対する耐性が示された。
• 表情の強度の評価は一貫しており、感情カテゴリーごとに有意な差が認められ、本手法の感情の調節に対する感受性が裏付けられた。
• 本研究の結果は、提案手法が、西洋人とアジア系の被験者を含む多様なユーザーグループにおいて、知覚的に妥当で明確に区別可能な感情的表現を生成できることを示した。
• オープンソースのコードの提供により、表現豊かな仮想キャラクターを必要とするアプリケーションへの迅速な展開と統合が可能になった。