[論文レビュー] The Effects of Embodiment and Personality Expression on Learning in LLM-based Educational Agents

Si̇nan Sonlu, Bennie Bendiksen+2 more|arXiv (Cornell University)|Jun 24, 2024

Education and Learning Interventions被引用数 4

ひとこと要約

本研究では、人格表現と身体化がLLMベースの教育的エージェントにおける学習に与える影響を調査した。GPT-3.5駆動の対話と顔貌・身体のアニメーションを備えた3次元アニメーションエージェントを用いて実験を行った。結果として、高外向性・協調性のエージェントはより魅力的であると認識されたが、モデルタイプ間で学習成果に有意差は認められず、全モデルが全体的に肯定的に評価された。

ABSTRACT

This work investigates how personality expression and embodiment affect personality perception and learning in educational conversational agents. We extend an existing personality-driven conversational agent framework by integrating LLM-based conversation support tailored to an educational application. We describe a user study built on this system to evaluate two distinct personality styles: high extroversion and agreeableness and low extroversion and agreeableness. For each personality style, we assess three models: (1) a dialogue-only model that conveys personality through dialogue, (2) an animated human model that expresses personality solely through dialogue, and (3) an animated human model that expresses personality through both dialogue and body and facial animations. The results indicate that all models are positively perceived regarding both personality and learning outcomes. Models with high personality traits are perceived as more engaging than those with low personality traits. We provide a comprehensive quantitative and qualitative analysis of perceived personality traits, learning parameters, and user experiences based on participant ratings of the model types and personality styles, as well as users' responses to open-ended questions.

研究の動機と目的

• LLMベースの教育的エージェントにおける人格表現と身体化が学習成果に与える影響を調査すること。
• 異なる人格スタイル（高外向性・協調性対低外向性・協調性）がユーザーの認識および関与度に与える影響を評価すること。
• 対話のみ、ジェスチャーなしのアニメーション、完全なジェスチャーおよび顔貌アニメーションを備えた3つのエージェントモデルを比較すること。
• 身体化と人格表現が教育的対話における認識された学習、質、関与度に影響を与えるかどうかを評価すること。
• 対話、アニメーションなどのマルチモーダルな手がかりが、エージェントの人格認識および教育的効果に与える役割を明らかにすること。

提案手法

• 教育的文脈における対話生成にGPT-3.5を用いた人格駆動型対話エージェントフレームワークを拡張した。
• 2つの人格スタイル（高外向性・協調性：活発的・温かみのある、低外向性・協調性：控えめで形式的な）を設計した。
• 3つのエージェントモデルを実装した：(1) 対話のみ、(2) 対話のみのアニメーション、(3) 対話と同期されたジェスチャー・顔貌アニメーションを備えたもの。
• 60名の参加者を対象に、3×2の被験者間独立要因のユーザースタディを実施し、各参加者は1つのエージェントバージョンと対話した。
• 学習、質、関与度、および5つのFFM特性における人格認識に関する定量的評価を収集した。
• オープンエンドの質問とテーマ的分析を用いて、ユーザーの体験と認識の微細な差異を探索した。

Figure 1 : Different 3D agent models used in the study expressing high (left group) and low (right group) traits.

実験結果

リサーチクエスチョン

• RQ1 RQ1. 人格スタイルは人格認識に影響を及ぼすか？
• RQ2 RQ2. モデルタイプは人格認識に影響を及ぼすか？
• RQ3 RQ3. モデルタイプは学習成果に影響を及ぼすか？
• RQ4 RQ4. 学習成果と人格認識の間に相関があるか？

主な発見

• 参加者は、高外向性および協調性の高いエージェントを、低特徴のエージェントよりも顕著に魅力的だと認識したが、モデルタイプにかかわらず同様であった。
• 全モデルが5つのFive-Factor Model人格次元において肯定的に評価されたが、高特徴のエージェントは開放性、勤勉性、外向性、協調性、神経症傾向の低さの各項目でより高い評価を受けていた。
• 完全なアニメーションを備えた身体化エージェントは、対話のみおよびアニメーションのみのモデルよりも関与度スコアが高かったが、有意差は認められなかった。
• モデルタイプ間で認識された学習や質に有意差は認められず、本研究では身体化そのものが学習成果を向上させなかった。
• 参加者からは、合成音声が不自然に感じられ、一部のユーザーは応答が長すぎたり複雑すぎると感じ、現在のTTSおよびコンテンツ適応技術の限界が示唆された。
• テーマ的分析から、ユーザーの好みに顕著な個人差が認められ、一部のユーザーはモデルタイプよりも人格の相性を重視していた。これは、エージェントの個別化選択の可能性を示唆している。

(a) Model D