[論文レビュー] Designing a realistic peer-like embodied conversational agent for supporting children's storytelling

Zhixin Li, Ying Xu|arXiv (Cornell University)|Apr 19, 2023

AI in Service Interactions被引用数 4

ひとこと要約

本稿では、GPT-3、リアルタイム音声クラーニング、VOCA、FLAMEを活用して、生々しい顔貌アニメーションと声を再現する、子供のような物語話者を模倣したエージェント（STARie）を提案する。このエージェントは、共同物語作りを通じて子供の物語的スキルを向上させることを目的としつつ、プライバシー、年齢適合性、性別表現、アンビヴァレンス効果といった倫理的懸念に対処する。

ABSTRACT

Advances in artificial intelligence have facilitated the use of large language models (LLMs) and AI-generated synthetic media in education, which may inspire HCI researchers to develop technologies, in particular, embodied conversational agents (ECAs) to simulate the kind of scaffolding children might receive from a human partner. In this paper, we will propose a design prototype of a peer-like ECA named STARie that integrates multiple AI models - GPT-3, Speech Synthesis (Real-time Voice Cloning), VOCA (Voice Operated Character Animation), and FLAME (Faces Learned with an Articulated Model and Expressions) that aims to support narrative production in collaborative storytelling, specifically for children aged 4-8. However, designing a child-centered ECA raises concerns about age appropriateness, children privacy, gender choices of ECAs, and the uncanny valley effect. Thus, this paper will also discuss considerations and ethical concerns that must be taken into account when designing such an ECA. This proposal offers insights into the potential use of AI-generated synthetic media in child-centered AI design and how peer-like AI embodiment may support children extquotesingle s storytelling.

研究の動機と目的

• 4〜8歳の子供たちの共同物語作りを支援する、ペアライクな身体的会話エージェント（ECA）を設計すること。
• 子供らしい外見、声、リアルタイム顔面アニメーションが、子供の関与度と物語的発達に与える影響を調査すること。
• 子供中心のアプリケーションにAI生成の合成メディアを導入する際の倫理的課題を特定し、対処すること。
• 物語的熟達度と感情的関与を促進する観点から、大人らしいECAと比較してペアライクなECAの利点を明らかにすること。

提案手法

• 物語作りの文脈に応じた、子供にふさわしい応答を生成するために、GPT-3を自然言語生成に統合する。
• 子供の発声データを学習させることで、本物の子供らしい声をリアルタイムで生成する音声クラーニング技術を採用する。
• VOCA（音声制御キャラクターアニメーション）を用いて、会話と同期した口唇および顔面の動きをリアルタイムで再現する。
• FLAME（関節的モデルと表情を学習した顔）モデルを適用して、リアルで表現力のある顔面アニメーションを生成する。
• 子供らしい女性の外見（年齢約8歳）を設計することで、同年代との対話を模倣し、親しみやすさを高める。
• 共感的な顔の表情（例：悲しみ、喜び）を組み込むことで、感情的な反応を促し、物語の深さを促進する仕組みを統合する。

Figure 1. (a) STARie, the embodied conversational agent, tells a story with a child-like voice, appearance and real-time lip-sync and full-face animation, (b) STARie responds to the child’s previous story with positive feedback and joyful facial expressions, (c) STARie empathizes with the child’s re

実験結果

リサーチクエスチョン

• RQ1 ペアライクなECAが、子供の共同物語作りと物語的発達を効果的に支援するための、必須の設計的特徴は何か？
• RQ2 子供らしいECAは、大人らしいECAと比較して、子供の関与度、物語の複雑さ、感情的反応においてどのように異なるか？
• RQ3 子供の声や外見を模倣する子供中心のECAを作成するにあたり、主な倫理的リスクは何か？
• RQ4 プライバシー、年齢適合性、性別表現、アンビヴァレンス効果は、子供向けAIエージェントにおいてどのように緩和できるか？

主な発見

• 子供らしい声、外見、リアルタイム顔面アニメーションの統合により、STARieは物語作りの場面で子供の社会的存在感と関与度を高めていると感じられている。
• 共感的な反応（例：悲しみや喜びの顔の表情）は、子供が物語を振り返らせたり拡張させたりするのを促し、物語のサポート（ナラティブ・スクーリング）を支援する。
• 子供は物理的対話と仮想的対話の区別を困難に感じる可能性があり、ECAにおける非言語的サインの設計に細心の注意を要する。
• 微調整なしに大規模言語モデル（例：GPT-3）を用いることは、不適切または偏見のあるコンテンツの生成リスクを伴い、コンテンツフィルタリングまたは子供向けに最適化された微調整が不可欠である。
• 子供の声データの収集・保存は、子供がデータ利用や長期的影響を十分に理解できないことから、深刻なプライバシー懸念を伴う。
• 9歳未満の子供ではアンビヴァレンス効果がやや顕著でない可能性があるが、現実的ではあるが完璧でないアニメーションは、適切に調整されない場合には依然として若年層の混乱や関与の低下を引き起こす可能性がある。

Figure 2. The pipeline that may allow STARie to generate realistic and immediate child-like voices, speech styles, facial expressions