[논문 리뷰] Learning Through Dialogue: Engagement and Efficacy Matter More Than Explanations

Shaz Furniturewala, Gerard Christopher Yeo외 1명|arXiv (Cornell University)|2026. 01. 12.

AI in Service Interactions인용 수 0

한 줄 요약

이 논문은 사회-정치적 주제에 대해 397건의 인간-LLM 대화를 분석하여 설명의 풍부함이 주로 반사적 통찰을 통해 자신감에 영향을 주는 반면, 지식 향상은 인지적 참여로부터 비롯되며 사용자 효능과 대화 길이에 조건적으로 좌우된다.

ABSTRACT

Large language models (LLMs) are increasingly used as conversational partners for learning, yet the interactional dynamics supporting users' learning and engagement are understudied. We analyze the linguistic and interactional features from both LLM and participant chats across 397 human-LLM conversations about socio-political issues to identify the mechanisms and conditions under which LLM explanations shape changes in political knowledge and confidence. Mediation analyses reveal that LLM explanatory richness partially supports confidence by fostering users' reflective insight, whereas its effect on knowledge gain operates entirely through users' cognitive engagement. Moderation analyses show that these effects are highly conditional and vary by political efficacy. Confidence gains depend on how high-efficacy users experience and resolve uncertainty. Knowledge gains depend on high-efficacy users' ability to leverage extended interaction, with longer conversations benefiting primarily reflective users. In summary, we find that learning from LLMs is an interactional achievement, not a uniform outcome of better explanations. The findings underscore the importance of aligning LLM explanatory behavior with users' engagement states to support effective learning in designing Human-AI interactive systems.

연구 동기 및 목표

• LLM의 설명이 학습 결과(지식 및 자신감)에 미치는 영향을 학습 대화에서 조사한다.
• 학습 결과와 관련된 LLM 및 사용자 대화의 상호작용적 및 언어적 특징을 식별한다.
• 사용자의 정치적 효능이 설명, 참여, 불확실성 해소의 효과를 조정하는지 살핀다.
• 설명이 직접적으로 지식 향상을 이끄는지, 아니면 참여 및 반사적 통찰을 통해 간접적으로 영향을 주는지 판단한다.

제안 방법

• 사회-정치적 이슈에 관한 397건의 인간-LLM 대화에서 언어적 및 상호작용적 특징을 분석한다.
• 설명적 풍부함이 반사적 통찰을 통해 자신감에 직접적 영향을 미치는지와 참여를 통해 지식을 변화시키는지 매개 분석을 사용해 평가한다.
• 설명이, 참여, 불확실성에 미치는 효과를 정치적 효능이 어떻게 조정하는지 모형화 분석을 통해 시험한다.
• 연구는 대화 길이가 반사적 학습자와 다른 유형의 학습자에게 어떤 관계를 갖는지 특징화한다.

실험 결과

연구 질문

• RQ1 LLM의 설명적 풍부함이 정치적 지식을 직접 증가시키는가, 아니면 사용자 참여와 반사적 통찰을 통해 작용하는가?
• RQ2 사용자의 정치적 효능이 설명, 참여 및 불확실성에 대한 효과를 어떻게 조정하는가?
• RQ3 더 긴 대화가 주로 반사적 학습자에게 이익을 주어 지식 향상을 증가시키는가?
• RQ4 LLM과 사용자 채팅에서 어떤 상호작용적 특징이 자신감과 지식의 변화를 예측하는가?

주요 결과

• 설명적 풍부함은 반사적 통찰을 촉진함으로써 부분적으로 자신감을 높인다.
• 지식 향상은 대화에 대한 사용자의 인지적 참여를 통해 전적으로 발생한다.
• 효능이 다르면 효과가 달라진다; 높은 효능의 사용자는 불확실성을 해소하고 향상을 보인다.
• 더 긴 대화는 주로 반사적 학습자들에게 지식 향상 측면에서 이점을 준다.
• LLM으로부터의 학습은 상호작용적 성취이며 설명의 보편적 결과가 아니다.