[논문 리뷰] ChaCha: Leveraging Large Language Models to Prompt Children to Share Their Emotions about Personal Events

Woosuk Seo, Chanmo Yang외 1명|arXiv (Cornell University)|2023. 09. 21.

Topic ModelingComputer Science인용 수 3

한 줄 요약

ChaCha는 대화형 대규모 언어모델(LLM)과 상태기계를 활용해 8–12세 어린이들이 자유형 대화를 통해 개인적인 이야기를 나누고 관련된 감정을 표현하도록 이끄는 어린이 우호적인 챗봇이다. 실험실 연구에서 어린이들은 ChaCha를 가까운 친구로 인식하며 다양한 개인적 경험을 공유했으며, 이는 LLM이 발달 수준에 맞는 방식으로 어린이의 감정 표현을 지원할 잠재력을 보여준다.

ABSTRACT

Children typically learn to identify and express emotions through sharing their stories and feelings with others, particularly their family. However, it is challenging for parents or siblings to have emotional communication with children since children are still developing their communication skills. We present ChaCha, a chatbot that encourages and guides children to share personal events and associated emotions. ChaCha combines a state machine and large language models (LLMs) to keep the dialogue on track while carrying on free-form conversations. Through an exploratory study with 20 children (aged 8-12), we examine how ChaCha prompts children to share personal events and guides them to describe associated emotions. Participants perceived ChaCha as a close friend and shared their stories on various topics, such as family trips and personal achievements. Based on the findings, we discuss opportunities for leveraging LLMs to design child-friendly chatbots to support children in sharing emotions.

연구 동기 및 목표

• 소통 능력이 아직 발달하지 않은 어린이, 특히 형제자매가 없는 어린이들이 감정을 효과적으로 표현하는 데 어려움을 겪는 문제를 해결하기 위해.
• 자연스럽고 자유형 대화 방식으로 개인적인 사건과 관련된 감정을 식별하고 표현할 수 있도록 지원하는 대화형 에이전트를 설계하기 위해.
• 대규모 언어모델을 활용해 감정적 지지를 제공하고 어린이에게 친근한 챗봇을 만들 수 있는 방법을 탐색하기 위해.
• 감정 중심의 스토리텔링에 초점을 맞춘 LLM 기반 챗봇과 상호작용할 때 어린이들의 인식과 행동 양태를 조사하기 위해.

제안 방법

• ChaCha는 대화의 흐름을 유지하면서 자유형 대화를 가능하게 하기 위해 대규모 언어모델(GPT-4)과 상태기계를 결합한다.
• 상태기계는 명확한 단계로 대화를 이끌며, 탐색(이야기 공유 시작), 확장(세부 정보 유도), 반영(감정 식별 유도)의 단계를 거친다.
• 어린이가 감정을 이름 지어 어려워할 경우, ChaCha는 감정어휘 목록을 제공하여 인지 부담을 줄인다.
• 프롬프트 엔지니어링을 통해 LLM의 응답이 발달 수준에 맞고 감정적 지지 목표를 충족하도록 조정한다.
• 시스템은 한국어로 구현되었으며, 다국어 성능과 토큰 효율성을 고려해 한국어 텍스트의 높은 토큰화 비용을 감안한 모델 선택 기준을 적용했다.
• 20명의 어린이(8–12세)를 대상으로 한 실험실 기반 사용자 연구에서 프로토타입을 평가하였으며, 대화 패턴과 감정 표현을 분석하기 위해 정성적 분석을 실시했다.

실험 결과

연구 질문

• RQ1 어린이들이 개인적인 사건과 관련된 감정을 공유하도록 유도당할 때 LLM 기반 챗봇과 어떻게 상호작용하는가?
• RQ2 ChaCha가 자연스럽고 자유형 대화를 통해 어린이들이 감정을 표현하도록 얼마나 효과적으로 이끌 수 있는가?
• RQ3 어린이들은 ChaCha를 신뢰감, 공감 능력, 감정적 지지의 대상으로 어떻게 인식하는가?
• RQ4 LLM을 사용해 장기간 대화를 유지할 경우 대화의 일관성과 감정적 지시의 유지에 어떤 과제가 발생하는가?
• RQ5 문화적·언어적 요인(예: 한국어 사용)이 이러한 시스템의 성능과 사용성에 어떤 영향을 미치는가?

주요 결과

• 어린이들은 ChaCha를 가까운 친구로 인식하며 감정적으로 의미 있는 대화를 나누었으며, 가족 여행이나 개인적 성취와 같은 주제로 이야기를 공유했다.
• 참가자들은 빈번히 개인적인 경험을 공유했고, 특히 ChaCha의 감정어휘 목록을 통해 유도받을 경우 관련 감정을 식별하고 설명하는 데 성공했다.
• 상태기계는 대화를 효과적으로 구조화하여, 대화 기록이 길어져도 자유형 대화와 감정 지시 사이의 균형을 유지하는 데 기여했다.
• LLM의 뛰어난 성능에도 불구하고 장기적인 대화 기록으로 인해 모델이 의도한 단계에서 벗어나는 경우가 간헐적으로 발생했으며, 이는 추가적인 응답 검증 메커니즘이 필요함을 시사한다.
• 한국어 사용으로 인해 토큰 사용량이 크게 증가하여 유효한 컨텍스트 창이 제한되었으며, 이는 언어별 효율성을 고려한 모델 선택의 중요성을 강조한다.
• 이 연구에서는 성별이 어린이의 감정 표현에 유의미한 영향을 주지 않았지만, 향후 연구에서 LLM 챗봇과의 감정적 소통 방식에서 성별 차이가 존재할 가능성을 탐색할 필요가 있다.