[論文レビュー] ChEDDAR: Student-ChatGPT Dialogue in EFL Writing Education

Jieun Han, Haneul Yoo+5 more|arXiv (Cornell University)|Sep 23, 2023

Topic Modeling被引用数 5

ひとこと要約

本論文は、EFLライティング教育における学生-ChatGPT対話の大型で縦断的なデータセット、ChEDDARを紹介する。212名の大学生が1学期間にわたりエッセイの見直し、意図、満足度、編集履歴を含むデータを収集した。意図検出と満足度推定のためのベースラインモデルを確立し、言語教育における倫理的AI統合の基盤となるツールを提供する。

ABSTRACT

The integration of generative AI in education is expanding, yet empirical analyses of large-scale, real-world interactions between students and AI systems still remain limited. In this study, we present ChEDDAR, ChatGPT & EFL Learner's Dialogue Dataset As Revising an essay, which is collected from a semester-long longitudinal experiment involving 212 college students enrolled in English as Foreign Langauge (EFL) writing courses. The students were asked to revise their essays through dialogues with ChatGPT. ChEDDAR includes a conversation log, utterance-level essay edit history, self-rated satisfaction, and students' intent, in addition to session-level pre-and-post surveys documenting their objectives and overall experiences. We analyze students' usage patterns and perceptions regarding generative AI with respect to their intent and satisfaction. As a foundational step, we establish baseline results for two pivotal tasks in task-oriented dialogue systems within educational contexts: intent detection and satisfaction estimation. We finally suggest further research to refine the integration of generative AI into education settings, outlining potential scenarios utilizing ChEDDAR. ChEDDAR is publicly available at https://github.com/zeunie/ChEDDAR.

研究の動機と目的

• 生成的AIがEFLライティング文脈において学生とどのように相互作用するかを、大規模で現実世界の縦断的研究が不足している現状に対処すること。
• ChatGPTを用いてエッセイを見直す際の学生の使用パターン、意図、満足度レベルを分析すること。
• タスク指向の教育的対話システムにおける意図検出と満足度推定のためのベースラインモデルを確立すること。
• 今後の研究を支援するため、公開可能なデータセットを提供すること。

提案手法

• 1学期間にわたり、212名のEFL学生から対話ログ、エッセイ編集履歴、自己評価による満足度、意図アノテーションを収集した。
• RECIPEプラットフォームを用いてChatGPTをエッセイ見直しプロセスに統合し、構造的な学生-AI対話を可能にした。
• 14の意図カテゴリ（言語使用の要請、見直しの要請、評価、情報の要請、生成の要請など）を含む、学生発話のアノテーションを実施した。
• 2つのサブタスク（意図検出と満足度推定）のためのベースラインモデルを開発・評価した。満足度は5段階リッカート尺度を用いた。
• 5種類のプロンプトバリエーションを用いてプロンプト工学を実施し、学習および評価の際のモデル出力を一貫性を持たせた。
• ChEDDARデータセットを公開し、再現可能性およびAI統合教育分野における今後の研究を支援した。

実験結果

リサーチクエスチョン

• RQ1 1学期間にわたりChatGPTを用いてエッセイを見直すEFL学習者が示す主な使用パターンと対話の意図は何か？
• RQ2 学生の自己報告による満足度は、その意図や対話文脈とどのように相関しているか？
• RQ3 ベースラインモデルは、AI支援ライティングタスクにおける学生の対話意図をどの程度検出でき、満足度を推定できるか？
• RQ4 現実世界の縦断的データに基づくと、生成的AIをEFLライティング教育に統合するにあたり、どのような主な課題と機会が存在するか？

主な発見

• 最も頻度の高かった学生の意図は「言語使用の要請」（16.00％）であり、次いで「回答」（21.01％）と「発言」（2.93％）が続く。これはフィードバック受容と自己表現への強い関与を示している。
• 学生は主に文法、語彙、綴り、標点のフィードバックを要請しており、EFLライティングにおける言語的正確性の中心的役割が浮き彫りになった。
• 「回答」の意図が最も高い頻度（21.01％）を占めており、学生がAIのプロンプトに頻繁に反応していることから、対話への能動的参加が確認された。
• データセットは、学生が言語的精錬だけでなく、一貫性や統一性の評価といった高次元の見直しにもChatGPTを活用していることを示している。
• 意図検出と満足度推定のためのベースラインモデルは測定可能な性能を達成し、教育的AIにおける今後のNLPモデルの基盤を築いた。
• 本研究は、既存のデータセットにおける顕著なギャップを特定した。生成的AIと人間の対話の現実世界的で縦断的なデータをEFLライティング教育分野で捉えた先行研究は存在せず、ChEDDARは画期的なリソースである。