[論文レビュー] Exploring AI-Generated Text in Student Writing: How Does AI Help?

David James Woo, Hengky Susanto+3 more|arXiv (Cornell University)|Mar 10, 2023

Text Readability and Simplification被引用数 15

ひとこと要約

本研究は、AI生成テキストが英語を外国語として学ぶ（EFL）学生のライティングにどのような影響を与えるかを分析し、23名の Hong Kong の中等教育学校の生徒と回帰分析／非階層的クラスタ分析を用いて、AI単語の使用がライティングの質に与える影響を評価します。

ABSTRACT

English as foreign language_EFL_students' use of text generated from artificial intelligence_AI_natural language generation_NLG_tools may improve their writing quality. However, it remains unclear to what extent AI-generated text in these students' writing might lead to higher-quality writing. We explored 23 Hong Kong secondary school students' attempts to write stories comprising their own words and AI-generated text. Human experts scored the stories for dimensions of content, language and organization. We analyzed the basic organization and structure and syntactic complexity of the stories' AI-generated text and performed multiple linear regression and cluster analyses. The results show the number of human words and the number of AI-generated words contribute significantly to scores. Besides, students can be grouped into competent and less competent writers who use more AI-generated text or less AI-generated text compared to their peers. Comparisons of clusters reveal some benefit of AI-generated text in improving the quality of both high-scoring students' and low-scoring students' writing. The findings can inform pedagogical strategies to use AI-generated text for EFL students' writing and to address digital divides. This study contributes designs of NLG tools and writing activities to implement AI-generated text in schools.

研究の動機と目的

• AI生成テキストがEFL学生のライティング品質を向上させるかどうかを理解する。
• 人間の語とAI語の比率がライティング得点にどのように関連するかを定量化する。
• 異なるAI使用パターンを持つ作家グループ（有能な作家と能力の低い作家）を特定する。
• 教室での使用を念頭に置いた教育戦略およびNLGツールの設計に情報を提供する。

提案手法

• 参加者: 23名の Hong Kong の中等学校の生徒が、自分の語とAI生成テキストを組み合わせて物語を書く。
• 人間の専門家が内容・言語・構成の観点で物語を採点した。
• AI生成テキストの基本的な組織構造と統語的複雑性の分析。
• 多重回帰分析とクラスタ分析を含む統計分析。
• 人間語とAI語の語数の比が得点にどう関連するかの解釈。

実験結果

リサーチクエスチョン

• RQ1 人間の語数とAI生成語の語数は、得点に有意に寄与するか。
• RQ2 AI使用パターンに基づいて学生を明確な作家タイプに分類できるか。
• RQ3 AI生成テキストは高得点の学生または低得点の学生のライティング品質を改善するか。

主な発見

• 人間語の語数とAI生成語の語数は得点に有意に寄与する。
• 学生は、有能な作家と能力の低い作家に分類でき、彼らはより多くのAI生成テキストを使う者と少なく使う者に分けられる。
• クラスタの比較は、高得点者と低得点者の両方のライティング品質を向上させる上で、AI生成テキストに一定の利点があることを示している。