[논문 리뷰] Exploring Learners' Expectations and Engagement When Collaborating with Constructively Controversial Peer Agents

Thitaree Tanprasert, Young‐Ho Kim외 2명|arXiv (Cornell University)|2026. 01. 20.

Innovative Teaching and Learning Methods인용 수 0

한 줄 요약

본 논문은 LLM 기반 피어 에이전트와 비동기 협업에서 규제된 CC 기반 행동과 투명한 에이전트 설계가 학습자 참여, 주체성 인식, 인식에 미치는 영향을 연구합니다.

ABSTRACT

Peer agents can supplement real-time collaborative learning in asynchronous online courses. Constructive Controversy (CC) theory suggests that humans deepen their understanding of a topic by confronting and resolving controversies. This study explores whether CC's benefits apply to LLM-based peer agents, focusing on the impact of agents' disputatious behaviors and disclosure of agents' behavior designs on the learning process. In our mixed-method study (n=144), we compare LLMs that follow detailed CC guidelines (regulated) to those guided by broader goals (unregulated) and examine the effects of disclosing the agents' design to users (transparent vs. opaque). Findings show that learners' values influence their agent interaction: those valuing control appreciate unregulated agents' willingness to cease push-back upon request, while those valuing intellectual challenges favor regulated agents for stimulating creativity. Additionally, design transparency lowers learners' perception of agents' abilities. Our findings lay the foundation for designing effective collaborative peer agents in isolated educational settings.

연구 동기 및 목표

• CC에서 영감을 받은 행동이 비동기 협업에서 학습을 향상시키는지 여부를 검토한다.
• 규제된 CC 행동과 비규제 CC 행동이 참여도, 주체성 인식, 협업 역학에 미치는 영향을 조사한다.
• 에이전트의 행동 설계 공개(투명) 대 비공개(불투명)가 이러한 효과를 조절하는지 평가한다.
• CC 기반 피어 에이전트에 대한 학습자 가치 프로필과 대응 전략을 식별한다.
• 고립된 교육 맥락에서 효과적인 LLM 기반 협업 피어 에이전트 설계에 대한 통찰을 제공한다.]
• method_truncated__placeholder_replaced_by_input_

제안 방법

• 사실상 144명의 학부생이 CC 기반 피어 에이전트와의 주장 제시 과제 라운드에서 상호작용하는 2 x 2 혼합 요인 실험을 수행한다.
• 제어되지 않는(고수준 CC 지침, LLM에 의해 조정 가능)과 규제된(엄격한 CC 지침, 모니터링) 행동을 비교한다.
• 에이전트 설계의 투명성(투명 vs 불투명)을 피실험자 간 요인으로 조작한다.
• 대화 분석, 과제 지표(턴 수, 단어 수, 완료 시간, 주장의 질) 및 참여도와 주체성 인식에 대한 자체 보고를 조합하여 사용한다.
• 학습자 가치 및 기대에 대한 질적 통찰을 얻기 위한 개방형 설문을 수집한다(하위 연구질문 1).

Figure 1. A summary diagram of the study procedure. After watching the experiment demo video, each participant completes two rounds of the task for the two behavior mechanisms (regulated and unregulated) with a 5-minute break in between. The dashed-border box shows the steps within each round. Note

실험 결과

연구 질문

• RQ1 하위 연구질문 1: CC 기반 피어 에이전트에 대한 학습자 가치와 기대는 무엇이며, 이것이 학습자 인식 및 상호작용에 어떻게 영향을 미치는가?
• RQ2 하위 연구질문 2: 규제된 CC 행동과 비규제 CC 행동이 참여도, 주체성 인식 및 협업 역학에 어떤 영향을 미치는가?
• RQ3 하위 연구질문 3: 에이전트의 행동 설계 공개 여부가 이러한 효과를 어떻게 조절하는가?

주요 결과

• 학습자들은 효율성 주도형(Efficiency-Driven)과 호기심 주도형(Curiosity-Driven) 프로파일로 군집화되며, 이는 서로 다른 협업 전략 및 CC 행동 선호도와 연결된다.
• 에이전트의 행동 설계를 공개하면 학습자 전체의 에이전트 능력 인식이 크게 낮아진다.
• 규제된 CC 행동은 창의성을 자극하고 더 도전적인 참여를 제공하는 경향이 있으며, 비규제 행동은 학습자 통제에 맞춘 유연성을 제공한다.
• 학습자 가치는 에이전트 상호작용에서 협력과 모순 간 선호 균형에 영향을 미친다.
• 두 가지 에이전트 설계 패턴(규제 대 비규제)은 참여도, 주체성 인식 및 협업 역학을 서로 다른 방식으로 형성한다.

Figure 2. This figure shows the experiment interface (a). The screen is divided into three columns. The leftmost column is the activity instruction, including the task scenario, the activity steps, and the argument grading rubrics. The middle column is the chat window, where the participant has a co