[논문 리뷰] Designing a realistic peer-like embodied conversational agent for supporting children's storytelling

Zhixin Li, Ying Xu|arXiv (Cornell University)|2023. 04. 19.

AI in Service Interactions인용 수 4

한 줄 요약

이 논문은 GPT-3, 실시간 음성 클로닝, VOCA, FLAME를 사용하여 유사한 어린이처럼 보이고 들리는 생명감 있는 표정 운동을 구현하는, 어린이 같은 이야기꾼을 모방하는 신체적 대화 에이전트(이하 ECA)인 STARie를 제안한다. 이는 공동 이야기 만들기를 통해 어린이의 서사 능력을 향상시키는 것을 목표로 하며, 개인정보 보호, 연령 적합성, 성별 표현, 낯설게 느껴지는 효과(Uncanny Valley)와 같은 윤리적 문제도 다룬다.

ABSTRACT

Advances in artificial intelligence have facilitated the use of large language models (LLMs) and AI-generated synthetic media in education, which may inspire HCI researchers to develop technologies, in particular, embodied conversational agents (ECAs) to simulate the kind of scaffolding children might receive from a human partner. In this paper, we will propose a design prototype of a peer-like ECA named STARie that integrates multiple AI models - GPT-3, Speech Synthesis (Real-time Voice Cloning), VOCA (Voice Operated Character Animation), and FLAME (Faces Learned with an Articulated Model and Expressions) that aims to support narrative production in collaborative storytelling, specifically for children aged 4-8. However, designing a child-centered ECA raises concerns about age appropriateness, children privacy, gender choices of ECAs, and the uncanny valley effect. Thus, this paper will also discuss considerations and ethical concerns that must be taken into account when designing such an ECA. This proposal offers insights into the potential use of AI-generated synthetic media in child-centered AI design and how peer-like AI embodiment may support children extquotesingle s storytelling.

연구 동기 및 목표

• 4–8세 어린이의 공동 이야기 만들기를 지원하는 동료처럼 보이는 신체적 대화 에이전트(이하 ECA)를 설계하기.
• 어린이처럼 생긴 외형, 음성, 실시간 얼굴 운동이 어린이의 참여도와 서사 발달에 미치는 영향을 조사하기.
• 어린이 중심 응용 분야에서 인공지능 기반 합성 미디어를 배포함에 있어 발생하는 윤리적 과제를 특정하고 해결하기.
• 서사 능력과 정서적 참여를 증진시키는 데서 어른처럼 생긴 ECA에 비해 동료처럼 생긴 ECA의 장점을 탐색하기.

제안 방법

• 스토리텔링 중에 맥락에 맞고 어린이에게 적합한 응답을 생성하기 위해 GPT-3를 활용해 자연어 생성을 수행한다.
• 어린이의 발화 데이터를 학습시켜 실시간 음성 클로닝을 통해 실제 어린이 같은 음성을 생성한다.
• VOCA(Voice Operated Character Animation)를 사용해 말하는 대화와 입술 및 얼굴 운동을 실시간으로 동기화한다.
• FLAME(Faces Learned with an Articulated Model and Expressions) 모델을 적용해 현실적이고 표현력 있는 얼굴 운동을 생성한다.
• 어린이처럼 생긴 여성형(약 8세 정도의 연령) 외형을 설계하여 동료 상호작용을 모방하고 공감대를 높인다.
• 공감적인 표정(예: 슬픔, 기쁨 등)과 같은 정서 반응 메커니즘을 통합하여 더 깊은 서사 반성을 유도한다.

Figure 1. (a) STARie, the embodied conversational agent, tells a story with a child-like voice, appearance and real-time lip-sync and full-face animation, (b) STARie responds to the child’s previous story with positive feedback and joyful facial expressions, (c) STARie empathizes with the child’s re

실험 결과

연구 질문

• RQ1 어린이의 공동 이야기 만들기 및 서사 발달을 효과적으로 지원하기 위해 동료처럼 생긴 ECA에 필수적인 설계 특징는 무엇인가?
• RQ2 어린이의 참여도, 서사 복잡성, 정서 반응 측면에서 어린이처럼 생긴 ECA는 어른처럼 생긴 ECA와 어떻게 비교될 수 있는가?
• RQ3 어린이의 음성과 외형을 모방하는 어린이 중심 ECA를 제작함에 있어 관련된 주요 윤리적 리스크는 무엇인가?
• RQ4 어린이 중심 AI 에이전트에서 개인정보 보호, 연령 적합성, 성별 표현, 낯설게 느껴지는 효과를 어떻게 완화할 수 있는가?

주요 결과

• STARie는 어린이 같은 음성, 외형, 실시간 얼굴 운동을 통합함으로써 어린이의 서사 활동 중 사회적 존재감과 참여도를 향상시킨다.
• 슬픔이나 기쁨 등의 공감 표현 같은 정서적 반응은 어린이가 서사를 반성하고 확장하도록 유도하여 서사 지원(scaffolding)에 기여한다.
• 어린이들은 신체적 상호작용과 가상 상호작용을 구분하는 데 어려움을 겪을 수 있어, ECA의 비언어적 신호 설계에 신중함이 필요하다.
• 세분화되지 않은 대규모 언어 모델(GPT-3)을 사용할 경우 부적절하거나 편향된 콘텐츠가 생성될 위험이 있어, 콘텐츠 필터링 또는 어린이 전용 미세조정이 필요하다.
• 어린이의 음성 데이터를 수집 및 저장하는 것은 개인정보 보호 측면에서 심각한 문제를 야기하며, 특히 어린이가 데이터 사용과 장기적 영향을 충분히 이해하지 못하기 때문이다.
• 9세 미만 어린이의 경우 낯설게 느껴지는 효과가 덜 두드러질 수 있지만, 현실적이지만 완벽하지 않은 애니메이션은 정교하게 校正되지 않은 경우 어린이 사용자를 혼란스럽게 하거나 참여를 저해할 수 있다.

Figure 2. The pipeline that may allow STARie to generate realistic and immediate child-like voices, speech styles, facial expressions