[論文レビュー] Evaluating the Capability of Large-scale Language Models on Chinese Grammatical Error Correction Task

Fanyi Qu, Tang, Chenming+1 more|arXiv (Cornell University)|Jul 8, 2023

Natural Language Processing TechniquesComputer Science被引用数 3

ひとこと要約

本研究は、ChatGPT、ChatGLM-6B、LLaMA-7Bの3つの大規模言語モデルを、4つの中国語文法誤り訂正（GEC）データセットで評価し、強力な自然な表現生成能力にもかかわらず、過剰訂正とデータ分布への感受性のため、最先端モデル（SOTA）に劣ることを明らかにした。主な発見は、モデルの性能がデータセットによって顕著に異なることであり、学習者による誤りには優れた性能を示すが、ネイティブスピーカーの試験用誤りでは失敗することから、誤り検出および訂正戦略のターゲット指向の最適化が求められることを示している。

ABSTRACT

Large-scale language models (LLMs) has shown remarkable capability in various of Natural Language Processing (NLP) tasks and attracted lots of attention recently. However, some studies indicated that large language models fail to achieve promising result beyond the state-of-the-art models in English grammatical error correction (GEC) tasks. In this report, we aim to explore the how large language models perform on Chinese grammatical error correction tasks and provide guidance for future work. We conduct experiments with 3 different LLMs of different model scale on 4 Chinese GEC dataset. Our experimental results indicate that the performances of LLMs on automatic evaluation metrics falls short of the previous sota models because of the problem of over-correction. Furthermore, we also discover notable variations in the performance of LLMs when evaluated on different data distributions. Our findings demonstrates that further investigation is required for the application of LLMs on Chinese GEC task.

研究の動機と目的

• 大規模言語モデル（LLM）の中国語文法誤り訂正（GEC）タスクにおける性能を評価すること。
• モデルのサイズやアーキテクチャが、異なるデータ分布におけるGEC性能に与える影響を調査すること。
• LLMベースのGECシステムにおける過剰訂正やデータ分布バイアスといった体系的問題を同定すること。
• 標準化された指標を用いて、多様な中国語GECデータセット上でLLMを最先端（SOTA）GECモデルと比較すること。
• 低リソースおよびドメイン特化GEC応用におけるLLMの改善に向けた実用的知見を提供すること。

提案手法

• GPT-3.5-turbo、ChatGLM-6B、LLaMA-7Bの3つのLLMを、NLPCC、MuCGEC、FCGEC、NaCGECの4つの中国語GECデータセットで評価した。
• 各モデルの指示微調整スタイルに合わせた、意味的に整合した別個のプロンプトを適用し、一貫したタスク定式化を確保した。
• 評価には、単語レベルおよび文字レベルのF0.5、精度、再現率を用い、MaxMatch（M²）およびChERRANTスコアラーを併用した。
• ChatGPTには温度=0.6で推論を実施し、ChatGLM-6BおよびLLaMA-7Bには4×NVIDIA 3080 Ti GPUを用いた推論を実施した。
• 学習者由来の誤り（NLPCC、MuCGEC）とネイティブスピーカーの試験用誤り（FCGEC、NaCGEC）の2種類のデータタイプにわたり、モデルの挙動を分析した。
• モデルのスケールとデータ分布の両面から結果を比較し、性能のばらつきや誤りパターンを特定した。

Figure 1: The prompt for three LLMs.

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデルは、標準的な評価指標において、最先端モデル（SOTA）と比較して中国語GECでどの程度の性能を示すか？
• RQ2 モデルのサイズは、中国語GECタスクにおけるLLMの性能にどの程度影響を及えるか？
• RQ3 テストセットのデータ分布（例：学習者由来誤り vs. ネイティブスピーカー由来誤り）は、LLMのGEC性能にどのように影響するか？
• RQ4 LLMベースの中国語GECシステムにおける過剰訂正の性質と影響は何か？
• RQ5 なぜLLMベースのGEC評価において、文字レベルの指標は常に単語レベルの指標より著しく低いのか？

主な発見

• GPT-3.5-turboを含むLLMはSOTAモデルに劣り、NLPCCでは29.60 F0.5（SOTA 42.11）にとどまり、MuCGECでは36.61（SOTA 50.59）にとどまった。
• 過剰訂正が大きな問題である：LLMはしばしば正しいか文脈的に適切な表現を変更し、特にネイティブスピーカーの試験セットでは意味のずれ（semantic drift）を引き起こす。
• データ分布によって性能に顕著な差が生じる：LLMは学習者由来の誤り（例：MuCGECで36.61 F0.5）では良好に機能するが、ネイティブスピーカーの試験用誤り（例：NaCGECで11.20 F0.5）では劣る。
• ChatGPTはより高い再現率（NLPCCで33.92 vs. 7.98）を示しており、誤り検出能力が優れているが、精度は低い（28.69 vs. 17.63）ため、過剰訂正の傾向が強い。
• 文字レベルの指標は単語レベルの指標に比べて著しく低い（例：NLPCCで19.33 vs. 29.60 F0.5）という乖離が生じており、これは以前に報告されておらず、完全には説明がつかない。
• LLMとSOTAモデルの性能格差は、ネイティブスピーカーの試験データに見られる複雑な構造的誤りにおいて最も顕著であり、高レベルの文法的現象への一般化能力に限界があることを示している。