[論文レビュー] Evaluating GPT-3.5 and GPT-4 on Grammatical Error Correction for Brazilian Portuguese

Maria Carolina Penteado, Fábio Perez|arXiv (Cornell University)|Jun 27, 2023

Natural Language Processing Techniques被引用数 4

ひとこと要約

本研究では、ブラジルポルトガル語向けの文法誤り訂正（GEC）ツールとしてのGPT-3.5およびGPT-4の有効性を評価し、文法、綴り、高速タイピング、インターネット言語の4カテゴリーからなる新しいデータセットを導入した。GPT-4はGPT-3.5およびMicrosoft Word やGoogle Docsといった従来のツールを上回ったが、特に非伝統的な誤りタイプにおいて顕著な性能を示した。一方、すべてのLLMは高リCALLにもかかわらず精度が低いため、過剰訂正を示した。

ABSTRACT

We investigate the effectiveness of GPT-3.5 and GPT-4, two large language models, as Grammatical Error Correction (GEC) tools for Brazilian Portuguese and compare their performance against Microsoft Word and Google Docs. We introduce a GEC dataset for Brazilian Portuguese with four categories: Grammar, Spelling, Internet, and Fast typing. Our results show that while GPT-4 has higher recall than other methods, LLMs tend to have lower precision, leading to overcorrection. This study demonstrates the potential of LLMs as practical GEC tools for Brazilian Portuguese and encourages further exploration of LLMs for non-English languages and other educational settings.

研究の動機と目的

• ブラジルポルトガル語向けの文法誤り訂正（GEC）ツールとしてのGPT-3.5およびGPT-4の有効性を評価すること。
• GPT-3.5およびGPT-4といったLLMを、Microsoft Word やGoogle Docsといった従来のツールと比較し、さまざまな誤りタイプの訂正性能を評価すること。
• 文法、綴り、高速タイピング、インターネット言語の誤りをカバーする、新しいアノテート済みGECデータセットの開発および公開すること。
• LLMのGECにおける限界、特に非英語言語的文脈における過剰訂正や精度の問題を調査すること。

提案手法

• 文法（102ペア）、綴り（100）、高速タイピング（40）、インターネット言語（40）の4カテゴリーに分けられた、合計484文の新しいGECデータセットを作成した。
• モデルが入力文を訂正し、訂正済みバージョンのみを出力するゼロショットプロンプト戦略を設計した。
• 自動評価としてF0.5スコア、精度、リCALL、F1スコアを適用し、定性的分析のための人的評価も実施した。
• 訂正行動を分類する定性的分析を実施：過剰訂正、欠落、文法的誤訂正、不文法的誤訂正。
• 異なる言語的複雑さに対応する4つの誤りカテゴリーでモデルの性能を評価した。
• 自動指標と手動検査を併用し、LLM出力における体系的エラーおよびバイアスを同定した。

実験結果

リサーチクエスチョン

• RQ1 GPT-3.5およびGPT-4は、ブラジルポルトガル語の文法的誤り訂正において、Microsoft Word やGoogle Docsと比較してどの程度優れているか？
• RQ2 特に口語的または文脈依存的な言語において、LLMはどの程度過剰訂正または不十分訂正を行うか？
• RQ3 LLMのGECにおける主な失敗モードは何か。具体的には、過剰訂正、意味の変更、不文法的訂正の有無は？
• RQ4 GPT-4は、誤りカテゴリー全体にわたり、GPT-3.5と比較して精度、リCALL、F0.5スコアの観点でどの程度優れているか？
• RQ5 ルールベースシステムがしばしば失敗するような、インターネットスラングや高速タイピング誤りといった非標準的な言語形態をLLMが効果的に処理できるか？

主な発見

• GPT-4は、文法および綴りカテゴリーで最高のF0.5スコアを達成し、GPT-3.5、Microsoft Word、Google Docsを上回った。
• GPT-4は他の手法よりも高いリCALLを示し、誤り検出能力が優れていたが、過剰訂正のため精度が低かった。
• GPT-3.5は54件の過剰訂正を生じたのに対し、GPT-4はたった6件にとどまり、不要な編集の削減が顕著に見られた。
• インターネット言語および高速タイピングカテゴリーにおいて、GPT-3.5およびGPT-4はMicrosoft WordおよびGoogle Docsを著しく上回った。これら従来ツールは、口語的・文脈依存的誤りに対し苦戦した。
• GPT-4は文法的誤訂正を13件、不文法的誤訂正を1件報告したが、GPT-3.5はそれぞれ41件および3件であった。これは、GPT-4の全体的な正確性が優れていることを示している。
• 高リCALLにもかかわらず、LLMは正しい文を無駄に変更する傾向を示しており、実世界のGEC応用における精度の限界が顕著に浮き彫りになった。