[논문 리뷰] ChatGPT or Grammarly? Evaluating ChatGPT on Grammatical Error Correction Benchmark

Haoran Wu, Wenxuan Wang외 3명|arXiv (Cornell University)|2023. 03. 15.

Text Readability and Simplification인용 수 48

한 줄 요약

본 연구는 CoNLL-2014를 사용하여 ChatGPT를 문법 오류 수정(GEC) 작업에서 평가하고 Grammarly 및 GECToR과 비교하며, 자동 평가와 인간 평가를 분석해 표면 편집의 강점과 긴 문장에 대한 자동 지표의 약점을 시사한다.

ABSTRACT

ChatGPT is a cutting-edge artificial intelligence language model developed by OpenAI, which has attracted a lot of attention due to its surprisingly strong ability in answering follow-up questions. In this report, we aim to evaluate ChatGPT on the Grammatical Error Correction(GEC) task, and compare it with commercial GEC product (e.g., Grammarly) and state-of-the-art models (e.g., GECToR). By testing on the CoNLL2014 benchmark dataset, we find that ChatGPT performs not as well as those baselines in terms of the automatic evaluation metrics (e.g., $F_{0.5}$ score), particularly on long sentences. We inspect the outputs and find that ChatGPT goes beyond one-by-one corrections. Specifically, it prefers to change the surface expression of certain phrases or sentence structure while maintaining grammatical correctness. Human evaluation quantitatively confirms this and suggests that ChatGPT produces less under-correction or mis-correction issues but more over-corrections. These results demonstrate that ChatGPT is severely under-estimated by the automatic evaluation metrics and could be a promising tool for GEC.

연구 동기 및 목표

• ChatGPT의 GEC에 대한 효과성 평가.
• CoNLL-2014에서 Grammarly 및 최첨단 GEC 모델(GECToR)과의 비교.
• 문장 길이가 GEC 성능에 미치는 영향 분석 및 오류 유형과 인간 판단 검토.
• 자동 지표의 한계 입증 및 GEC를 위한 ChatGPT의 잠재력 탐색.

제안 방법

• ChatGPT에 고정 프롬프트를 사용하여 CoNLL-2014 테스트 하위집합(100문장)에서 평가.
• ChatGPT와 Grammarly 및 GECToR를 Precision, Recall, 및 F0.5 지표로 비교.
• 자동 평가를 위해 CoNLL-2014 공식 점수기를 현재 Python에 맞게 적용.
• 출력물의 정성적 분석(예시 수정 및 오류 유형 분류 포함).
• 작은 인간 평가(20문장) 수행하여 과잉 수정, 오오수정, 과소 수정 분류.
• 후처리 수정(출력에 대한 Grammarly)의 효과를 포함한 장문 대/단문 성능 차이 분석.

실험 결과

연구 질문

• RQ1 ChatGPT가 Grammarly 및 GECToR과 비교할 때 GEC에 유용한 도구인가?
• RQ2 다양한 문장 길이에서 CoNLL-2014 GEC 벤치마크에서 ChatGPT의 성능은 어떠한가?
• RQ3 자동 평가 지표가 ChatGPT의 GEC에 대한 인간 판단과 일치하는가?
• RQ4 ChatGPT의 수정의 정성적 특성은 어떤가(예: 한 문장씩의 수정 대 표면/구조적 수정)?

주요 결과

시스템	정밀도	재현율	F0.5
GECToR	71.2	38.4	60.8
Grammarly	67.3	51.1	63.3
ChatGPT	51.2	62.8	53.1

• ChatGPT는 높은 재현율을 달성하지만 정밀도는 낮고 전체 F0.5는 53.1로 Grammarly(63.3) 및 GECToR(60.8)보다 낮다.
• ChatGPT는 더 많은 오류를 수정하는 경향이 있어 재현율이 높지만 과잉 수정이 더 많이 일어난다(정밀도 저하).
• GECToR가 가장 높은 정밀도를 보이고, Grammarly가 균형 잡힌 성능을 제공하는 반면, ChatGPT는 일대일 수정 이상으로 더 넓은 편집에 중점을 둔다.
• 긴 문장은 Grammarly 및 GECToR에 비해 ChatGPT의 F0.5 성능이 뚜렷하게 감소하는 경향을 드러낸다.
• 인간 평가에서 ChatGPT는 과소 수정은 가장 적고(3건), 오오수정도(3건)로 가장 적지만 과잉 수정은 세 시스템 중 가장 많다(30건).
• Grammarly는 특히 구두점에서 ChatGPT 출력에 경미한 개선을 제공할 수 있지만 일부 GEC 오류에는 제한적이다.