[논문 리뷰] Is ChatGPT Massively Used by Students Nowadays? A Survey on the Use of Large Language Models such as ChatGPT in Educational Settings

Jérémie Sublime, Ilaria Renna|arXiv (Cornell University)|2024. 12. 23.

Artificial Intelligence in Healthcare and Education인용 수 8

한 줄 요약

논문은 프랑스와 이탈리아의 13–25세의 395명의 학생을 대상으로 LLMs인 ChatGPT와 같은 도구가 교육에서 얼마나 광범위하게 사용되는지 정량화하고, 인구통계적 패턴을 탐구하며, AI 리터러시 및 교수법에 대한 시사점을 논의합니다.

ABSTRACT

The rapid adoption of Generative AI (GenAI) based on Large Language Models (LLMs) such as ChatGPT has recently and profoundly impacted education, offering transformative opportunities while raising significant concerns. In this study we present the results of a survey that investigates how 395 students aged 13 to 25 years old in France and Italy integrate LLMs into their educational routines. Key findings include the widespread use of these tools across all age groups and disciplines, with older students and male students demonstrating higher usage frequencies, particularly in scientific contexts. The results also show gender disparities, raising concerns about an emerging AI literacy and technological gender gap. Additionally, while most students utilise LLMs constructively, the lack of systematic proofreading and critical evaluation among younger users suggests potential risks to cognitive skills development, including critical thinking and foundational knowledge. The survey results underscore the need for educational institutions to adapt their curricula to integrate AI tools effectively, promoting ethical use, critical thinking, and awareness of AI limitations and environmental costs. This paper provides actionable recommendations for fostering equitable and effective cohabitation of LLMs and education while addressing emerging challenges.

연구 동기 및 목표

• 학령기 학생 연령대별로 ChatGPT/LLMs의 학술적 사용이 얼마나 흔한지 정량화한다.
• 연령, 성별, 학문 맥락별 사용 패턴을 파악한다.
• 학생들의 LLM 출력에 대한 비판적 평가 능력과 한계에 대한 인식을 평가한다.
• AI 리터러시 격차와 교육 정책 및 커리큘럼 설계에 대한 시사점을 강조한다.

제안 방법

• 프랑스와 이탈리아에서 수업 시간에 감독된 Google Forms 설문조사를 설계하고 실시한다(2014년 5월–2024년 10월).
• 인구통계, 인문학 및 과학 주제에 대한 ChatGPT 사용, 기기 사용 및 비학술적 사용에 대한 질문을 포함하고, GDPR 준수 및 미성년자에 대한 부모 동의를 보장한다.
• 기술 통계, 연관성에 대한 카이제곱 검정, 신뢰구간 및 잔차를 이용해 응답을 분석하여 과대/과소 대표된 범주 조합을 식별한다.
• 부분 연구에서 비사용자와 같이 제외되었을 때 응답을 상황에 맞춰 처리하여 강건한 하위그룹 분석을 보장한다.

Figure 1: ChatGPT use by age range based on answers to question item number 3.

실험 결과

연구 질문

• RQ1 13–25세 학생들 사이에서 학술 목적의 LLM 사용은 얼마나 일반적인가?
• RQ2 연령대, 성별 또는 학문 분야에 따라 LLM 사용에 체계적인 차이가 있는가?
• RQ3 이러한 사용 패턴이 교육 및 AI 리터러시에 어떤 도전이나 기회를 시사하는가?

주요 결과

• 가장 어린 응답자(13–16세) 중 거의 70%가 교육 맥락에서 ChatGPT를 최소 한 번이라도 사용했다고 보고했다.
• 모든 연령대에서 ChatGPT 사용은 광범위했고, 연령 관련 사용 차이에 대한 카이제곱 값에 71%가 기여했고 p-값은 10^-7 미만이었다.
• 연구 표본은 395명의 응답자로 구성되었고, 성별은 남성 211명, 여성 174명, 9명 기타, 1명 성별 누락; 344명이 ChatGPT를 사용한 적이 있으며 51명은 사용한 적이 없었다.
• 연령대에 걸친 응답자들은 다양한 참여 수준을 보였고, 분석은 특히 과학 맥락에서 나이가 많은 학생과 남성의 사용 빈도가 더 높다는 점을 시사한다.
• 저자들은 비체계적인 교정 및 비판적 평가로 인한 인지 기술 발달의 우려와 AI 리터러시 격차 가능성을 논의한다—특히 더 어릴 때의 사용자들 사이에서.
• 결과는 윤리적 사용, 비판적 사고 및 AI의 한계에 대한 인식을 강조하는 커리큘럼에 AI 도구를 통합하자는 권고를 지지한다.

Figure 2: ChatGPT use frequency by age range based on answers to question items 4.1 and 5.1, excluding non-users.