[論文レビュー] Analyzing the Performance of GPT-3.5 and GPT-4 in Grammatical Error Correction

Steven Coyne, Keisuke Sakaguchi+3 more|arXiv (Cornell University)|Mar 25, 2023

Topic Modeling被引用数 26

ひとこと要約

この論文は、BEA-2019とJFLEGを用いてGPT-3.5とGPT-4を文法エラー訂正（GEC）で体系的に評価し、プロンプト設計、few-shot設定、ヒト評価と自動評価を探究し、GPT-4がJFLEGで新しい高得点を達成する一方、流暢さに焦点を当てた編集がBEA-2019の成績を低下させる可能性があることを示す。

ABSTRACT

GPT-3 and GPT-4 models are powerful, achieving high performance on a variety of Natural Language Processing tasks. However, there is a relative lack of detailed published analysis of their performance on the task of grammatical error correction (GEC). To address this, we perform experiments testing the capabilities of a GPT-3.5 model (text-davinci-003) and a GPT-4 model (gpt-4-0314) on major GEC benchmarks. We compare the performance of different prompts in both zero-shot and few-shot settings, analyzing intriguing or problematic outputs encountered with different prompt formats. We report the performance of our best prompt on the BEA-2019 and JFLEG datasets, finding that the GPT models can perform well in a sentence-level revision setting, with GPT-4 achieving a new high score on the JFLEG benchmark. Through human evaluation experiments, we compare the GPT models' corrections to source, human reference, and baseline GEC system sentences and observe differences in editing strategies and how they are scored by human raters.

研究の動機と目的

• GPT-3.5（text-davinci-003）およびGPT-4（gpt-4-0314）が文法エラー訂正（GEC）ベンチマークでどのように性能を示すかを調査する。
• ゼロショットおよび few-shot 設定におけるプロンプト設計と温度パラメータがGEC性能に与える影響を分析する。
• 自動指標とヒト評価を通じて、モデルの出力を人間の参照およびベースラインGECシステムと比較する。
• GECタスク設定（文の改訂を中心とした Focus）編集と評価結果にどのように影響するかを検討する。

提案手法

• GPT-3.5およびGPT-4に対して、GECのための複数のゼロショットプロンプト（Prompt #1から#10まで）を設計・テストする。
• 温度(tau = 0.1, 0.5, 0.9)を体系的に変更し、GPT-4ではチャット形式で1つの入力を用いる。
• 最良のゼロショットプロンプトを最大6つのfew-shot例で拡張し、few-shot効果を評価する。
• BEA-2019はF0.5、JFLEGはGLEUという標準指標を用いて評価する。
• BEA-2019とJFLEGのサブセットを横断して、ソース、ヒト参照、GPT-3.5、GPT-4、ベースラインを比較するクラウドワーカーによるヒト評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 プロンプトの内容と温度がGECベンチマークにおけるGPT-3.5およびGPT-4の性能にどのように影響するか？
• RQ2 GPT-3.5とGPT-4は最小限の編集よりも流暢さの編集を好むのか、そしてこれがBEA-2019対JFLEGのスコアにどのように影響するか？
• RQ3 GECタスクにおけるGPT-3.5とGPT-4のゼロショットとfew-shotプロンプトはどのように比較されるか？
• RQ4 GPT系GEC出力における自動指標と人間評価との間にどのような乖離が生じるか？
• RQ5 GPTベースのGECで観察される共通の失敗モード（過剰編集、過少編集、メタ出力）は何か？

主な発見

• 設計の行き届いたプロンプトを用いれば、GPT-3.5とGPT-4は余分な内容を含まず、単一文の訂正を安定して生成する。
• GPT-4はJFLEGデータセットの文レベルの改訂で新たな高得点を獲得する。
• プロンプト感度が明らかであり、語句の小さな変更や句読点の変更が出力の品質と形式に大きく影響する。
• 最終プロンプトは流暢さ編集のバイアスを生じさせ、流暢さに焦点を当てた指標で高得点を獲得する一方、BEA-2019の最小編集指標では低くなる。
• GPTモデルはときに過剰編集したり内容を追加したりして、元の意味を変えたり断片を拡張したりすることがある。
• 人間の評価と自動指標は乖離することがあり、評価目標とタスク設定の違いを反映している。