[論文レビュー] Automated Evaluation for Student Argumentative Writing: A Survey

Xinyu Wang, Yohan Lee+1 more|arXiv (Cornell University)|May 9, 2022

Software Engineering Research被引用数 8

ひとこと要約

この論文は、議論構造や強度などの細分化されたフィードバックを対象とした、学生の議論的作文の自動評価についてサーベイする。既存のタスク、データセット、手法を整理し、プロンプト間で良好な一般化を示すBERTベースのベースラインを確立することで、今後の個別化・スケーラブルなライティングフィードバックシステムの研究基盤を提供する。

ABSTRACT

This paper surveys and organizes research works in an under-studied area, which we call automated evaluation for student argumentative writing. Unlike traditional automated writing evaluation that focuses on holistic essay scoring, this field is more specific: it focuses on evaluating argumentative essays and offers specific feedback, including argumentation structures, argument strength trait score, etc. The focused and detailed evaluation is useful for helping students acquire important argumentation skill. In this paper we organize existing works around tasks, data and methods. We further experiment with BERT on representative datasets, aiming to provide up-to-date baselines for this field.

研究の動機と目的

• 議論構造と特徴別フィードバックに焦点を当て、学生の議論的作文の自動評価分野における既存研究を体系的に整理・分類すること。
• 特に言語の多様性と非熟練作家の表現が不足している点を含め、現在のデータセットにおけるギャップを特定すること。
• ベンチマークデータセット上で、議論抽出、コンponent検出、品質評価のタスクについて、最新のBERTベースのベースラインを確立すること。
• BERTモデルの異なるライティングプロンプト間での一般化能力を調査し、導入段階における主要なボトルネックに対処すること。

提案手法

• 本論文は、議論的作文評価分野におけるタスク、データセット、手法を体系的にサーベイし、議論抽出（AM）、コンponent検出（CD）、品質評価（QA）に分類する。
• 代表的なデータセット（S&G2014、S&G2017a、P&N2015）に対して、回帰タスクの標準指標（MSE、MAE）を用いて、ヴァニラBERTモデルの性能を評価する。
• 序列ラベル付けおよび回帰タスクのためのBERTモデルを微調整し、議論コンponentの特定、分類、議論強度スコアリングを実施する。
• 同じデータセット内での複数のプロンプト間での一般化をテストし、平均二乗誤差（MSE）および平均絶対誤差（MAE）で性能を測定する。
• S&G2014、S&G2017a、P&N2015、およびCarlile et al. (2018) の公開データセットを用い、議論構造、主張、根拠、批判検出のアノテーションを含む。
• BERTの性能を先行する最先端手法と比較し、構造的変更を最小限に抑えて競争的な結果を示している。

実験結果

リサーチクエスチョン

• RQ1 ヴァニラBERTモデルは、議論的作文評価タスクにおいて、異なるライティングプロンプト間でどれほど一般化できるか？
• RQ2 現在のデータセットにおいて、言語の多様性と非ネイティブライターの表現が不足している主な制限要因は何か？
• RQ3 BERTベースのモデルは、議論抽出や品質スコアリングなどの議論的作文評価タスクにおいて、強力で一般化可能なベースラインとして機能できるか？
• RQ4 既存のベンチマークデータセット上で、異なる議論構造および特徴スコアリングタスクにおけるモデル性能はどのように変動するか？
• RQ5 一般化能力と多言語対応を含め、自動議論的作文評価分野における今後の研究で最も有望な方向性は何か？

主な発見

• ヴァニラBERTモデルは、複数の議論的作文評価タスクで先行する最先端手法と同等の性能を達成しており、今後の研究の強力なベースラインを確立している。
• 同じデータセット内での異なるプロンプト間で、BERTモデルは比較的良好に一般化しており、抽象的プロンプト（例：プロンプト3および5）ではわずかな性能低下を示すにとどまり、プロンプトの変化に対して頑健であることが示唆される。
• 抽象的プロンプトでの性能低下は、文脈的手がかりの減少に起因すると仮説され、低文脈的議論のモデリング向上の必要性が示唆される。
• 現在のデータセットは主に英語で構成されており、非ネイティブまたは中級レベルのライターの表現が不足しており、多様性とアクセシビリティの面で顕著なギャップが存在する。
• トランスフォーマーに基づくモデルの活用は、継続的事前学習やアーキテクチャの適応を経て、さらなる性能向上と一般化の可能性を秘めている。
• プロンプト間での一般化は依然として大きな課題であり、今後のシステムはこの能力を優先的に開発することで、データ収集コストの低減とスケーラブルな教育フィードバックの実現を目指すべきである。