[논문 리뷰] Exploring AI-Generated Text in Student Writing: How Does AI Help?

David James Woo, Hengky Susanto외 3명|arXiv (Cornell University)|2023. 03. 10.

Text Readability and Simplification인용 수 15

한 줄 요약

이 연구는 AI가 생성한 텍스트가 영어를 외국어로 배우는(EFL) 학생의 글쓰기에게 어떤 영향을 미치는지 분석하며, 23명의 홍콩 중등학생과 회귀/군집 분석을 사용해 AI 단어 사용이 글쓰기 품질에 미치는 영향을 평가한다.

ABSTRACT

English as foreign language_EFL_students' use of text generated from artificial intelligence_AI_natural language generation_NLG_tools may improve their writing quality. However, it remains unclear to what extent AI-generated text in these students' writing might lead to higher-quality writing. We explored 23 Hong Kong secondary school students' attempts to write stories comprising their own words and AI-generated text. Human experts scored the stories for dimensions of content, language and organization. We analyzed the basic organization and structure and syntactic complexity of the stories' AI-generated text and performed multiple linear regression and cluster analyses. The results show the number of human words and the number of AI-generated words contribute significantly to scores. Besides, students can be grouped into competent and less competent writers who use more AI-generated text or less AI-generated text compared to their peers. Comparisons of clusters reveal some benefit of AI-generated text in improving the quality of both high-scoring students' and low-scoring students' writing. The findings can inform pedagogical strategies to use AI-generated text for EFL students' writing and to address digital divides. This study contributes designs of NLG tools and writing activities to implement AI-generated text in schools.

연구 동기 및 목표

• AI가 생성한 텍스트가 EFL 학생의 글쓰기 품질을 향상시킬 수 있는지 이해한다.
• 인간 단어와 AI 단어의 균형이 글쓰기 점수와 어떤 관계가 있는지 정량화한다.
• 다른 AI 사용 패턴을 보이는 작가 집단(유능한 집단 vs. 덜 유능한 집단)을 식별한다.
• 교실용 수업 전략과 NLG 도구 설계에 정보를 제공한다.

제안 방법

• 참여자: 자신의 단어와 AI가 생성한 텍스트를 결합해 이야기를 쓰는 23명의 홍콩 중등학생.
• 인간 전문가가 내용, 언어, 구성 측면에서 이야기에 점수를 매겼다.
• AI가 생성한 텍스트의 기본 구성 및 구문 복잡성 분석.
• 다중 선형 회귀 및 군집 분석을 포함한 통계 분석.
• 인간 단어와 AI 단어의 비율이 점수와 어떻게 관련되는지 해석한다.

실험 결과

연구 질문

• RQ1 인간 단어의 수와 AI가 생성한 단어의 수가 글쓰기 점수에 유의하게 기여하는가?
• RQ2 학생들을 AI 사용 패턴에 따라 서로 다른 작가 유형으로 구분할 수 있는가?
• RQ3 AI가 생성한 텍스트가 높은 점수이거나 낮은 점수를 받은 학생의 글쓰기 품질을 향상시키는가?

주요 결과

• 인간 단어의 수와 AI가 생성한 단어의 수가 점수에 유의하게 기여한다.
• 학생들은 더 많은 AI 생성 텍스트를 사용하는 유능한 작가와 덜 AI 생성 텍스트를 사용하는 덜 유능한 작가로 분류될 수 있다.
• 클러스터 간 비교는 높은 점수와 낮은 점수의 학생들 모두의 글쓰기 품질 향상에 AI 생성 텍스트가 다소 이익이 있음을 보여준다.