[논문 리뷰] Evaluating the Capability of Large-scale Language Models on Chinese Grammatical Error Correction Task

Fanyi Qu, Tang, Chenming외 1명|arXiv (Cornell University)|2023. 07. 08.

Natural Language Processing TechniquesComputer Science인용 수 3

한 줄 요약

이 연구는 중국어 문법 오류 수정(GEC) 데이터셋 네 개에서 대규모 언어 모델(LM)—ChatGPT, ChatGLM-6B, LLaMA-7B—의 성능을 평가하며, 강력한 유창성 생성 능력에도 불구하고 과도한 수정과 데이터 분포 민감성으로 인해 최신 기술(SOTA) 모델에 비해 성능이 열등하다는 점을 밝혀냈다. 주요 발견은 데이터셋 간 성능 격차가 뚜렷하며, LLM은 학습자에 의한 오류에서는 뛰어난 성능을 보이나 원어민 시험 오류에서는 실패한다는 점으로, 오류 탐지 및 수정 전략의 타겟팅된 개선이 필요하다는 점을 시사한다.

ABSTRACT

Large-scale language models (LLMs) has shown remarkable capability in various of Natural Language Processing (NLP) tasks and attracted lots of attention recently. However, some studies indicated that large language models fail to achieve promising result beyond the state-of-the-art models in English grammatical error correction (GEC) tasks. In this report, we aim to explore the how large language models perform on Chinese grammatical error correction tasks and provide guidance for future work. We conduct experiments with 3 different LLMs of different model scale on 4 Chinese GEC dataset. Our experimental results indicate that the performances of LLMs on automatic evaluation metrics falls short of the previous sota models because of the problem of over-correction. Furthermore, we also discover notable variations in the performance of LLMs when evaluated on different data distributions. Our findings demonstrates that further investigation is required for the application of LLMs on Chinese GEC task.

연구 동기 및 목표

• 대규모 언어 모델(LLM)이 중국어 문법 오류 수정(GEC) 작업에서 어떻게 성능을 내는지 평가하는 것.
• 모델 크기와 아키텍처가 다양한 데이터 분포에서 GEC 성능에 미치는 영향을 조사하는 것.
• LLM 기반 GEC 시스템에서 과도한 수정 및 데이터 분포 편향과 같은 체계적 문제를 규명하는 것.
• 표준화된 메트릭을 사용해 다양한 중국어 GEC 데이터셋에서 LLM을 최신 기술(SOTA) GEC 모델과 비교하는 것.
• 저자원 및 도메인 특화 GEC 응용 분야에서 LLM의 성능 향상을 위한 실질적 통찰을 제공하는 것.

제안 방법

• NLPCC, MuCGEC, FCGEC, NaCGEC 네 개의 중국어 GEC 데이터셋에서 GPT-3.5-turbo, ChatGLM-6B, LLaMA-7B 세 개의 LLM을 평가.
• 모델의 지시 휴율 스타일에 맞게 각각의 의미적으로 일치하는 프롬프트를 별도로 적용하여 일관된 작업 프레임워크를 확보.
• 평가에 단어 수준 및 문자 수준의 F0.5, 정밀도, 재현율 메트릭을 사용하고, MaxMatch(M²) 및 ChERRANT 스코어러를 활용.
• ChatGPT는 온도=0.6로 실험하고, ChatGLM-6B 및 LLaMA-7B는 4× NVIDIA 3080 Ti GPU에서 추론 수행.
• 학습자 생성 오류(NLPCC, MuCGEC)와 원어민 시험 오류(FCGEC, NaCGEC) 두 가지 유형의 데이터에 대해 모델 행동 분석.
• 모델 규모와 데이터 분포 간 비교를 통해 성능 격차와 오류 패atters를 고립 분석.

Figure 1: The prompt for three LLMs.

실험 결과

연구 질문

• RQ1 표준 평가 메트릭 기준으로 대규모 언어 모델(LLM)은 최신 기술(SOTA) 모델 대비 중국어 GEC에서 어떻게 성능을 내는가?
• RQ2 모델 크기가 중국어 GEC 작업에서 LLM의 성능에 어느 정도 영향을 미치는가?
• RQ3 테스트 세트의 데이터 분포(예: 학습자 오류 대비 원어민 오류)가 LLM의 GEC 성능에 어떻게 영향을 미치는가?
• RQ4 LLM 기반 중국어 GEC 시스템에서 과도한 수정의 성격과 영향은 무엇인가?
• RQ5 왜 문자 수준 메트릭은 LLM 기반 GEC 평가에서 항상 단어 수준 메트릭보다 열등한가?

주요 결과

• GPT-3.5-turbo 포함 LLM은 SOTA 모델에 비해 성능이 열등하여, NLPCC에서는 SOTA의 42.11 대비 29.60 F0.5, MuCGEC에서는 SOTA의 50.59 대비 36.61 F0.5를 기록.
• 과도한 수정이 주요 문제다: LLM은 자주 올바른 문장이나 맥락적으로 적절한 어휘를 수정하여 의미의 왜곡을 유발하며, 특히 원어민 시험 데이터셋에서 두드러진다.
• 데이터 분포에 따라 성능 격차가 뚜렷하다: LLM은 학습자 생성 오류(예: MuCGEC의 36.61 F0.5)에서는 뛰어난 성능을 보이나 원어민 시험 오류(예: NaCGEC의 11.20 F0.5)에서는 떨어진다.
• ChatGPT는 더 작은 모델들(예: NLPCC에서 33.92 대비 7.98)에 비해 높은 재현율을 보이며 오류 탐지 능력이 뛰어나지만, 정밀도는 낮아(28.69 대비 17.63) 과도한 수정을 보인다.
• 문자 수준 메트릭은 단어 수준 메트릭보다 상당히 낮다(예: NLPCC에서 19.33 대비 29.60 F0.5), 이는 이전에 보고되지 않은 격차이며 완전히 설명되지 않았다.
• LLM과 SOTA 모델 간 성능 격차는 원어민 시험 데이터에 포함된 복잡한 문법적 오류에서 가장 뚜렷하며, 이는 고차원적 문법 현상에 대한 일반화 능력이 제한되어 있음을 시사한다.