[論文レビュー] LLM-as-a-tutor in EFL Writing Education: Focusing on Evaluation of Student-LLM Interaction

Jieun Han, Haneul Yoo+9 more|arXiv (Cornell University)|Oct 8, 2023

Online Learning and Analytics被引用数 4

ひとこと要約

本論文では、LLMを用いて、内容、構成、言語の基準に基づくスコアと、詳細で役立つフィードバックを生成するパイプラインFABRICを紹介する。本研究では、DREsS（実世界のデータセット）、CASE（誤りを含むデータ拡張戦略）、およびEssayCoT（予測された基準スコアを活用したフィードバック生成のための新しいプロンプト手法）を組み合わせ、ベースラインと比較してフィードバックの有用性とモデル性能が顕著に向上した。

ABSTRACT

In the context of English as a Foreign Language (EFL) writing education, LLM-as-a-tutor can assist students by providing real-time feedback on their essays. However, challenges arise in assessing LLM-as-a-tutor due to differing standards between educational and general use cases. To bridge this gap, we integrate pedagogical principles to assess student-LLM interaction. First, we explore how LLMs can function as English tutors, providing effective essay feedback tailored to students. Second, we propose three metrics to evaluate LLM-as-a-tutor specifically designed for EFL writing education, emphasizing pedagogical aspects. In this process, EFL experts evaluate the feedback from LLM-as-a-tutor regarding quality and characteristics. On the other hand, EFL learners assess their learning outcomes from interaction with LLM-as-a-tutor. This approach lays the groundwork for developing LLMs-as-a-tutor tailored to the needs of EFL learners, advancing the effectiveness of writing education in this context.

研究の動機と目的

• EFLライティング教育における自動エッセイ採点（AES）のための標準的で基準に基づくデータセットが不足している問題に対処すること。
• 制御された誤りを導入する新しいデータ拡張戦略（CASE）を用いて、基準に基づくAESモデルの精度を向上させること。
• 予測された基準スコアを活用して、より的確で具体的なフィードバックを生成するためのプロンプト手法（EssayCoT）を開発すること。
• 実際のEFLライティング教室でパイプライン全体を評価し、モデル性能とユーザー満足度の両方を測定すること。

提案手法

• FABRICは3段階のパイプラインである：DREsS（専門家が内容・構成・言語の3項目についてスコアを付けた1,782件のEFLエッセイからなる実世界のデータセット）、CASE（高品質なエッセイに自然な文レベルの誤りを導入して合成エッセイを生成する誤りベースのデータ拡張戦略）、およびEssayCoT（予測された基準スコアを「思考の連鎖」として活用し、LLMによるフィードバック生成をガイドするプロンプト戦略）。
• DREsSは実際のEFL学生のエッセイから構築され、専門家による基準に基づくスコアが付与されており、基準に基づくAESの標準的ベンチマークを形成する。
• CASEは、高品質なエッセイに現実的で文レベルの誤りを挿入することで、合成学習データを生成し、モデルの汎化能力を向上させる。これにより、3.9K件の内容、15.7K件の構成、0.9K件の言語に関する合成サンプルが生成された。
• EssayCoTは、AESモデルが予測した基準スコアを「思考の連鎖」として活用し、標準的なプロンプトよりも的確で整合性のあるフィードバックを生成する。
• AESモデルはDREsSで微調整され、CASEによる拡張も施された。その結果、ベースラインと比較して、26.37%のQWKスコア向上が達成された。
• フィードバックは専門家による評価と学生への実装による評価が行われ、パイプラインは実際のエッセイ編集プラットフォームに統合され、実世界でのテストが実施された。

Figure 1: Overview of the pipeline. Rubric-based AES data (DREsS) is used to train AES model, which is enhanced by CASE to more accurately predict rubric-based scores. EssayCoT leverages these scores for essay feedback generation. FABRIC’s final outputs, scores and feedback, are used for EFL writing

実験結果

リサーチクエスチョン

• RQ1 標準的で専門家がアノテートした基準に基づくデータセット（DREsS）は、EFLライティング教育における自動エッセイ採点の信頼性と一貫性を向上させることができるか？
• RQ2 誤りベースのデータ拡張戦略（CASE）は、既存のデータセットで訓練されたベースラインと比較して、基準に基づくAESモデルの性能を顕著に向上させるか？
• RQ3 予測された基準スコアを活用する「思考の連鎖」プロンプト戦略（EssayCoT）は、標準的なプロンプト手法と比較して、教育専門家がより有用で好ましいと評価するフィードバックを生成できるか？
• RQ4 実際のEFLライティング教室環境において、学生はAIが生成したスコアとフィードバックをどのように認識し、評価するか？

主な発見

• 1,782件の実際のEFL学生エッセイに、専門家が内容・構成・言語のスコアをアノテートしたDREsSデータセットは、基準に基づくAESの信頼できるベンチマークを提供する。
• CASEによるデータ拡張戦略により、ベースラインモデルのQWKスコアが26.37%向上し、基準に基づく採点の正確性が顕著に向上した。
• EssayCoTプロンプトを用いて生成されたフィードバックは、13名の英語教育専門家から、標準的なプロンプト手法と比較して、より有用で好まれるという評価を受けた。
• 33名のEFL学生を対象とした実世界での導入では、生成されたスコアとフィードバックが平均して7段階リッカートスケールで6点（高く評価）を得ており、ユーザー受容性が非常に高いことが示された。
• 拡張済みデータセット上で、パイプラインはQWKスコア約0.6を達成し、基準に基づく採点において優れた性能を示した。
• 専門家による評価では、EssayCoTによって生成されたフィードバックが、標準的なプロンプト手法よりも具体的で実行可能で、教育的目標と整合性が高いことが確認された。

Figure 2: Prompt for EssayCoT