[論文レビュー] ChatGPT or Grammarly? Evaluating ChatGPT on Grammatical Error Correction Benchmark

Haoran Wu, Wenxuan Wang+3 more|arXiv (Cornell University)|Mar 15, 2023

Text Readability and Simplification被引用数 48

ひとこと要約

本論文は、CoNLL-2014を用いてChatGPTを文法エラー訂正（GEC）タスクで評価し、GrammarlyおよびGECToRと比較し、自動評価と人間評価を分析して、表層的な編集の強みと長文に対する自動指標の弱点を明らかにする。

ABSTRACT

ChatGPT is a cutting-edge artificial intelligence language model developed by OpenAI, which has attracted a lot of attention due to its surprisingly strong ability in answering follow-up questions. In this report, we aim to evaluate ChatGPT on the Grammatical Error Correction(GEC) task, and compare it with commercial GEC product (e.g., Grammarly) and state-of-the-art models (e.g., GECToR). By testing on the CoNLL2014 benchmark dataset, we find that ChatGPT performs not as well as those baselines in terms of the automatic evaluation metrics (e.g., $F_{0.5}$ score), particularly on long sentences. We inspect the outputs and find that ChatGPT goes beyond one-by-one corrections. Specifically, it prefers to change the surface expression of certain phrases or sentence structure while maintaining grammatical correctness. Human evaluation quantitatively confirms this and suggests that ChatGPT produces less under-correction or mis-correction issues but more over-corrections. These results demonstrate that ChatGPT is severely under-estimated by the automatic evaluation metrics and could be a promising tool for GEC.

研究の動機と目的

• ChatGPTの文法エラー訂正（GEC）における有効性を評価する。
• CoNLL-2014でChatGPTをGrammarlyおよび最先端のGECモデル（GECToR）と比較する。
• 文の長さがGECの性能に与える影響を分析し、エラー種別と人間の判断を検討する。
• 自動指標の限界を示し、GECにおけるChatGPTの可能性を探る。

提案手法

• 固定プロンプトを用いてCoNLL-2014のテストサブセット（100文）を評価する。
• Precision、Recall、F0.5指標を用いてChatGPTとGrammarlyおよびGECToRを比較する。
• 自動評価にはCoNLL-2014公式スコアラーを現在のPythonに適応させて使用する。
• 出力の定性的分析を行い、例示的な訂正とエラー種別のカテゴリを含める。
• 小規模な人間評価（20文）を実施し、過不足訂正、誤訂正、過剰訂正を分類する。
• 長文と短文の性能を分析し、事後訂正（出力に対するGrammarly適用）の影響を検討する。

実験結果

リサーチクエスチョン

• RQ1 ChatGPTはGrammarlyおよびGECToRと比較して、GECの有用なツールとなるか？
• RQ2 異なる文長に対してCoNLL-2014のGECベンチマークでChatGPTはどう機能するか？
• RQ3 GECにおけるChatGPTで自動評価指標は人間の判断と一致するか？
• RQ4 ChatGPTの訂正の定性的特徴は何か（例: 一つずつの訂正 vs 表面的/構造的編集）？

主な発見

システム	精度	再現率	F0.5
GECToR	71.2	38.4	60.8
Grammarly	67.3	51.1	63.3
ChatGPT	51.2	62.8	53.1

• ChatGPTは高いリコールを達成するが精度は低く、F0.5は53.1で、CoNLL-2014ではGrammarly（63.3）およびGECToR（60.8）よりも低い。
• ChatGPTはより多くのエラーを訂正する傾向がある（リコールが高い）が、過剰訂正も多く生じる（精度が低い）。
• GECToRが最高の精度を持ち、Grammarlyはバランスのとれた性能を示す。一方ChatGPTは一つひとつの訂正を超える広範な編集を強調する。
• 長文ではChatGPTのF0.5性能がGrammarlyおよびGECToRと比較して顕著に低下する。
• 人間評価ではChatGPTが過不足訂正が最も少ない（3件）と誤訂正（3件）も少ないが、過剰訂正が最も多い（30件）ことを示す。
• Grammarlyは特に句読点の点でChatGPTの出力にかすかな改善をもたらすことがあるが、いくつかのGECエラーには影響が限定的である。