[논문 리뷰] The Effects of Embodiment and Personality Expression on Learning in LLM-based Educational Agents

Si̇nan Sonlu, Bennie Bendiksen외 2명|arXiv (Cornell University)|2024. 06. 24.

Education and Learning Interventions인용 수 4

한 줄 요약

이 연구는 인공지능 기반 교육 캐릭터에서 성격 표현과 몸체화가 학습에 어떤 영향을 미치는지 조사한다. GPT-3.5 기반 대화와 얼굴 및 신체 애니메이션을 구현한 3D 애니메이션 캐릭터를 사용한 결과, 높은 외향성/협조성 성격을 띤 캐릭터는 더 매력적으로 느껴졌지만, 학습 성과에 유의미한 차이가 없었으며, 모든 모델이 전반적으로 긍정적인 평가를 받았다.

ABSTRACT

This work investigates how personality expression and embodiment affect personality perception and learning in educational conversational agents. We extend an existing personality-driven conversational agent framework by integrating LLM-based conversation support tailored to an educational application. We describe a user study built on this system to evaluate two distinct personality styles: high extroversion and agreeableness and low extroversion and agreeableness. For each personality style, we assess three models: (1) a dialogue-only model that conveys personality through dialogue, (2) an animated human model that expresses personality solely through dialogue, and (3) an animated human model that expresses personality through both dialogue and body and facial animations. The results indicate that all models are positively perceived regarding both personality and learning outcomes. Models with high personality traits are perceived as more engaging than those with low personality traits. We provide a comprehensive quantitative and qualitative analysis of perceived personality traits, learning parameters, and user experiences based on participant ratings of the model types and personality styles, as well as users' responses to open-ended questions.

연구 동기 및 목표

• LLM 기반 교육 캐릭터에서 성격 표현과 몸체화가 학습 성과에 미치는 영향을 조사하기 위해.
• 다른 성격 스타일(높은 외향성/협조성 대비 낮은 외향성/협조성)이 사용자 인식과 참여도에 어떤 영향을 미치는지 평가하기 위해.
• 다음 세 가지 캐릭터 모델을 비교하기 위해: 대화 전용, 제스처 없이 애니메이션만 구현된 모델, 완전한 제스처 및 얼굴 애니메이션을 구현한 모델.
• 몸체화와 성격 표현이 인식된 학습, 품질, 참여도에 영향을 미치는지 평가하기 위해.
• 다양한 모odal 신호(대화, 애니메이션)가 사용자 인식에서 캐릭터 성격과 교육적 효과성에 어떤 영향을 미치는지 탐구하기 위해.

제안 방법

• 교육적 맥락에서 대화 생성을 위해 GPT-3.5를 활용한 성격 기반 대화 캐릭터 프레임워크를 확장하였다.
• 높은 외향성-협조성(활기차고 따뜻한)과 낮은 외향성-협조성(조용하고 공식적인) 두 가지 성격 스타일을 설계하였다.
• 다음 세 가지 캐릭터 모델을 구현하였다: (1) 대화 전용, (2) 대화만 있는 애니메이션 모델, (3) 대화와 동기화된 제스처 및 얼굴 애니메이션을 포함한 모델.
• 60명의 참가자가 참여한 3×2 독립 설계 실험을 실시하였으며, 각 참가자는 한 가지 캐릭터 유형과 상호작용하였다.
• 모든 다섯 가지 FFM 성격 특성에 대해 학습, 품질, 참여도, 인식된 성격에 대한 정량적 평가를 수집하였다.
• 개방형 질문과 주제 분석을 통해 사용자 경험과 인식의 미묘한 차이를 탐색하였다.

Figure 1 : Different 3D agent models used in the study expressing high (left group) and low (right group) traits.

실험 결과

연구 질문

• RQ1 RQ1. 성격 스타일이 인식된 성격에 영향을 미치는가?
• RQ2 RQ2. 모델 유형이 인식된 성격에 영향을 미치는가?
• RQ3 RQ3. 모델 유형이 학습 성과에 영향을 미치는가?
• RQ4 RQ4. 학습 성과와 성격 인식 간에 상관관계가 있는가?

주요 결과

• 높은 외향성과 협조성을 지닌 캐릭터는 모든 모델 유형에 관계없이 낮은 특성을 지닌 캐릭터보다 유의미하게 더 매력적으로 인식되었다.
• 모든 모델이 다섯 가지 FFM 성격 특성에서 긍정적으로 평가되었으며, 높은 특성 캐릭터는 열린성, 성실성, 외향성, 협조성, 낮은 정서적 불안정성에서 높은 평가를 받았다.
• 완전한 애니메이션을 구현한 몸체화된 캐릭터는 대화 전용 및 애니메이션 전용 모델보다 높은 참여도 점수를 기록했지만, 통계적으로 유의미한 차이는 없었다.
• 학습 성과나 품질 측면에서 모든 모델 간 유의미한 차이가 없었으며, 이는 이 연구에서 몸체화만으로 학습 성과 향상이 이루어지지 않았음을 시사한다.
• 참가자들은 합성 음성의 자연스럽지 못함을 지적했으며, 일부는 응답이 너무 길거나 복잡하다고 느꼈다. 이는 현재 TTS 및 콘텐츠 적응 기술의 한계를 보여준다.
• 주제 분석 결과, 사용자 선호도에 개인적 차이가 뚜렷하게 나타났으며, 일부 사용자는 모델 유형보다 성격 호환성을 더 선호하는 것으로 나타났다. 이는 개인 맞춤형 캐릭터 선택의 잠재력이 있음을 시사한다.

(a) Model D