[논문 리뷰] Exploring the Impact of ChatGPT on Student Interactions in Computer-Supported Collaborative Learning

Han Kyul Kim, Shriniwas Nayak외 4명|arXiv (Cornell University)|2024. 03. 11.

Artificial Intelligence in Healthcare and Education인용 수 6

한 줄 요약

본 연구는 비동기 CSCL 브레인스토밍에서 ChatGPT를 즉시 Q&A 에이전트로 도입하는 것이 학생 간 상호작용에 어떤 영향을 미치는지 조사하고, 활성 학습의 전반적 변화는 없지만 중요한 변화가 있음을 발견했다: 학생–ChatGPT 상호작용에서 활성 학습이 더 높아지고 Type B 집단에서 학생–학생 상호작용의 활성 학습이 22.6퍼센트 포인트 증가했다.

ABSTRACT

The growing popularity of generative AI, particularly ChatGPT, has sparked both enthusiasm and caution among practitioners and researchers in education. To effectively harness the full potential of ChatGPT in educational contexts, it is crucial to analyze its impact and suitability for different educational purposes. This paper takes an initial step in exploring the applicability of ChatGPT in a computer-supported collaborative learning (CSCL) environment. Using statistical analysis, we validate the shifts in student interactions during an asynchronous group brainstorming session by introducing ChatGPT as an instantaneous question-answering agent.

연구 동기 및 목표

• 대학원 제품 엔지니어링 환경에서 창의적 사고 개발을 위한 CSCL에서 ChatGPT의 적용 가능성 탐색.
• ChatGPT가 사용 가능할 때 학생 상호작용 패턴의 변화를 정량적으로 분석.
• 비동기 그룹 브레인스토밍에서 ChatGPT가 전반적인 활성 학습과 학생 간 역학에 영향을 미치는지 평가.

제안 방법

• 2023년 제품 엔지니어링 과정의 12개 코호트로 구성된 Graduate CSCL 데이터셋(6개 Type A는 ChatGPT 포함, 6개 Type B는 미포함).
• ChatGPT 응답은 OpenAI API를 통해 태그된 메시지에 게시되어 그룹 내에서 즉시 Q&A가 가능하다.
• 활성 학습 메시지는 Collaborative Learning Conversation Skills Taxonomy (CLCST)를 사용하여 Request, Inform, Motivate에 초점을 맞춰 주석 처리한다.
• 다중 주석자 간 신뢰도는 Cohen의 카파 kappa = 0.932로 측정되었다(거의 완전한 일치).
• ChatGPT 존재 여부와 주를 공분산으로 한 반복 ANOVA; Tukey 사후검정으로 쌍별 비교.

실험 결과

연구 질문

• RQ1 ChatGPT를 도입하면 CSCL 그룹 토의의 전반적인 활성 학습 수준이 바뀌는가?
• RQ2 ChatGPT의 존재가 학생–학생 상호작용과 학생–ChatGPT 상호작용 사이의 균형에 어떤 영향을 미치는가?
• RQ3 상호작용 유형별 효과(학생–학생 대 학생–ChatGPT)가 주간에 걸쳐 활성 학습에 미치는 영향이 있는가?

주요 결과

• ChatGPT가 포함된 Type A와 포함되지 않은 Type B 코호트 간의 전반적인 활성 학습에 통계적으로 유의미한 차이가 없다.
• Type B 코호트는 Type A 코호트에 비해 학생–학생 상호작용에서 활성 학습 비율이 22.6퍼센트 포인트 더 높다(p-조정 = 0.037).
• Type A 코호트 내에서 학생–ChatGPT 상호작용은 학생–학생 상호작용보다 활성 학습 수준이 유의하게 높으며 평균 차이는 53.57퍼센트 포인트(p-조정 = 0.000).
• 학생–학생 상호작용에 대한 ANOVA는 활성 학습 비율을 바꾸는 중요한 요인으로 ChatGPT를 보여주었다(F = 4.909, p < 0.05).
• 주 및 상호작용 항은 측정 결과에 제한적이거나 유의미한 영향을 보이지 않았다.
• 결론은 ChatGPT가 전체적으로 학생–학생 활성 학습을 감소시키지만 학생과 ChatGPT 간의 양방향 활동은 증가시킴을 시사하며, 신선도 효과는 명시적으로 고려되지 않았다.