[논문 리뷰] Impact of Guidance and Interaction Strategies for LLM Use on Learner Performance and Perception

Harsh Kumar, Ilya Musabirov외 6명|arXiv (Cornell University)|2023. 10. 13.

Technology Adoption and User Behaviour참고 문헌 88인용 수 10

한 줄 요약

이 논문은 교육적으로 정보를 반영한 네 가지 안내 전략(제안 목록, 예시 기반 지시, 메타 인지 질문, 해결 후 개선)을 두 가지 학습자 접근법(LLM-우선 vs. 셀프-우선)과 두 가지 연구 설정에 걸쳐 조사하여 학습자 수행, 자신감, LLM에 대한 신뢰에 미치는 영향을 평가한다.

ABSTRACT

Personalized chatbot-based teaching assistants can be crucial in addressing increasing classroom sizes, especially where direct teacher presence is limited. Large language models (LLMs) offer a promising avenue, with increasing research exploring their educational utility. However, the challenge lies not only in establishing the efficacy of LLMs but also in discerning the nuances of interaction between learners and these models, which impact learners' engagement and results. We conducted a formative study in an undergraduate computer science classroom (N=145) and a controlled experiment on Prolific (N=356) to explore the impact of four pedagogically informed guidance strategies on the learners' performance, confidence and trust in LLMs. Direct LLM answers marginally improved performance, while refining student solutions fostered trust. Structured guidance reduced random queries as well as instances of students copy-pasting assignment questions to the LLM. Our work highlights the role that teachers can play in shaping LLM-supported learning environments.

연구 동기 및 목표

• 일반적인 안내 전략이 학습자의 LLM 활용에 미치는 영향을 교육 과제에서 평가한다.
• 안내가 학습자 접근법(LLM-우선 vs. 셀프-우선)과 상호작용해 결과를 형성하는 방식을 조사한다.
• 다양한 상호작용 단계에서 수행, 자신감, 신뢰, 및 LLM의 유용성 인식에 미치는 영향을 평가한다.
• 안내 전략이 학생의 참여도와 LLM 튜터와의 상호작용의 질에 어떤 영향을 미치는지 탐구한다.

제안 방법

• 학부 컴퓨터공학 수업에서 형성적 현장 연구(N=145)와 통제된 Prolific 연구(N=356)를 수행한다.
• 사실상 설계에서 네 가지 안내 전략(G1: 제안 목록, G2: 예시 기반 지시, G3: 메타인지 질문, G4: 해결 후 개선)을 요인 설계로 조작한다.
• 안내에 의해 영향을 받는 LLM-우선 접근(LFA)과 셀프-우선 접근(SFA)을 사용한다.
• 과제 및 기말고사에서의 수행은 물론 LLM에 대한 인식(응답에 대한 자신감, 유용성, 재상호작용 의향, 오류 허용도)과 자기 인식(답변에 대한 자신감)을 측정한다.
• 연구 2에서 프롬프트를 사용한 LLM과 사용하지 않은 LLM을 비교하고, 과제 전·중·후의 자신감과 신뢰의 궤적을 분석한다.

Figure 1 . Different forms of guidance strategies.

실험 결과

연구 질문

• RQ1 RQ1: 안내 유형이 학습자가 LLM 튜터와의 초기 대화 양식에 어떤 영향을 미치는가?
• RQ2 RQ2: 안내 전략이 LLM과의 과제 수행 및 학습 결과에 미치는 영향은 무엇인가?
• RQ3 RQ3: 상호작용 단계 전반에 걸쳐 문제 해결을 위해 LLM을 사용하는 학습자의 자신감에 안내 전략이 어떤 영향을 미치는가?
• RQ4 RQ4: 다양한 상호작용 단계에서 LLM 응답에 대한 학습자의 신뢰에 안내 전략이 어떤 영향을 미치는가?
• RQ5 RQ5: 상호작용 단계에 걸쳐 문제 해결에 대한 학습자의 자기 확신에 안내 방식이 어떤 방식으로 형성되는가?

주요 결과

• 구조화된 안내는 무작위 질의를 줄이고 LLM에 과제 문제를 그대로 복사하는 것을 감소시키며 더 깊은 몰입을 촉진한다.
• 직접적인 LLM 답변은 수행을 약간 향상시키고, LLM으로 학생 솔루션을 다듬는 것이 신뢰를 키운다.
• 예시 기반 지시는 예기치 않게 관련 없는 질의나 채팅봇을 해킹하려는 시도를 증가시킨다.
• 메타인지 질문은 질문의 재진술을 증가시키지만 일부 경우에는 복사를 증가시킬 수 있다.
• Prolific 연구에서 안내 유형이나 LLM 유형(프롬프트 사용 여부) 간에 작업 수행에서 통계적으로 유의미한 차이가 없었으며(프롬프트 유무), LLM 사용에 대한 자신감은 초기에는 증가하다가 실제 과제를 시도한 후 감소하여 부정적 상호작용 경험을 시사한다.

Figure 2 . Schematic of the formative study in a CS classroom. 2 ( List of Suggestions : present vs. absent) x 2 ( Example-based Instruction : present vs. absent) x 2 ( Metacognitive-questioning based Instruction : present vs. absent) x 2 ( Solve, then refine with LLM : present vs. absent) between s