[論文レビュー] Learning Through Dialogue: Engagement and Efficacy Matter More Than Explanations

Shaz Furniturewala, Gerard Christopher Yeo+1 more|arXiv (Cornell University)|Jan 12, 2026

AI in Service Interactions被引用数 0

ひとこと要約

この論文は社会政治的トピックについて397件の人間とLLMの対話を分析し、説明の豊かさは主に振り返りの洞察を通じて自信に影響を与え、知識の獲得は認知的関与により生じ、ユーザーの有効性と対話長に依存する、という結論を示す。

ABSTRACT

Large language models (LLMs) are increasingly used as conversational partners for learning, yet the interactional dynamics supporting users' learning and engagement are understudied. We analyze the linguistic and interactional features from both LLM and participant chats across 397 human-LLM conversations about socio-political issues to identify the mechanisms and conditions under which LLM explanations shape changes in political knowledge and confidence. Mediation analyses reveal that LLM explanatory richness partially supports confidence by fostering users' reflective insight, whereas its effect on knowledge gain operates entirely through users' cognitive engagement. Moderation analyses show that these effects are highly conditional and vary by political efficacy. Confidence gains depend on how high-efficacy users experience and resolve uncertainty. Knowledge gains depend on high-efficacy users' ability to leverage extended interaction, with longer conversations benefiting primarily reflective users. In summary, we find that learning from LLMs is an interactional achievement, not a uniform outcome of better explanations. The findings underscore the importance of aligning LLM explanatory behavior with users' engagement states to support effective learning in designing Human-AI interactive systems.

研究の動機と目的

• LLMの説明が学習ダイアログにおける学習成果（知識と自信）にどのように影響するかを調査する。
• LLMとユーザーの対話における学習成果に関連する相互作用的・言語的特徴を特定する。
• ユーザーの政治的有効性が説明、関与、不確実性解消の影響をどのように緩和するかを検討する。
• 説明が知識獲得に直接結びつくか、関与と振り返りの洞察を介して生じるかを判断する。

提案手法

• 社会政治問題についての397件の人間–LLM対話から言語的・相互作用的特徴を分析する。
• 説明的豊かさが振り返りの洞察を介して自信に直接影響するか、知識は関与を通じて影響するかを媒介分析で評価する。
• 説明、関与、不確実性の効果に対する政治的有効性の影響を緩和分析で検定する。
• 振り返り型と他の学習者の学習と関連して、対話長が学習に与える影響を特徴づける。

実験結果

リサーチクエスチョン

• RQ1 LLMの説明的豊かさは直接的に政治的知識を高めるのか、それともユーザーの関与と振り返りの洞察を介して機能するのか。
• RQ2 説明、関与、不確実性の学習成果への影響をユーザーの政治的有効性はどのように緩和するのか。
• RQ3 長い対話は主に振り返りを行うユーザーの知識獲得を高めるのか。
• RQ4 LLMとユーザーチャットのどのような相互作用的特徴が自信と知識の変化を予測するのか。

主な発見

• 説明の豊かさは振り返りの洞察を促すことで自信を部分的に高める。
• 知識獲得は対話に対するユーザーの認知的関与を通じてのみ生じる。
• 効果は政治的有効性とともに変化し、高い有効性を持つユーザーは不確実性を解消して知識獲得を示す。
• 長い対話は主に振り返り型のユーザーにとって知識獲得の利益となる。
• LLMからの学習は対話的な達成であり、説明の単なる結果ではない。