[논문 리뷰] Evaluation of really good grammatical error correction

Robert Östling, Katarina Gillholm외 3명|arXiv (Cornell University)|2023. 08. 17.

Natural Language Processing TechniquesComputer Science인용 수 3

한 줄 요약

이 연구는 인간이 수정한 후보 수정 사례와 다양한 평가 지표를 사용하여 스웨덴어 문법 오류 수정(GEC) 시스템을 평가하며, 스웨덴어가 훈련 데이터의 0.11%에 불과한 상황에서도 few-shot 설정에서 GPT-3가 이전 시스템을 크게 앞서는 것으로 나타났다. 주요 기여는 자동 평가 지표의 편향을 드러내고, 고성능 LLM 기반 GEC 시스템에 대해 맥락 인식형 인간 중심의 평가가 필요하다는 점을 강조하는 인간 후보 수정 프레임워크를 제시한 데 있다.

ABSTRACT

Although rarely stated, in practice, Grammatical Error Correction (GEC) encompasses various models with distinct objectives, ranging from grammatical error detection to improving fluency. Traditional evaluation methods fail to fully capture the full range of system capabilities and objectives. Reference-based evaluations suffer from limitations in capturing the wide variety of possible correction and the biases introduced during reference creation and is prone to favor fixing local errors over overall text improvement. The emergence of large language models (LLMs) has further highlighted the shortcomings of these evaluation strategies, emphasizing the need for a paradigm shift in evaluation methodology. In the current study, we perform a comprehensive evaluation of various GEC systems using a recently published dataset of Swedish learner texts. The evaluation is performed using established evaluation metrics as well as human judges. We find that GPT-3 in a few-shot setting by far outperforms previous grammatical error correction systems for Swedish, a language comprising only 0.11% of its training data. We also found that current evaluation methods contain undesirable biases that a human evaluation is able to reveal. We suggest using human post-editing of GEC system outputs to analyze the amount of change required to reach native-level human performance on the task, and provide a dataset annotated with human post-edits and assessments of grammaticality, fluency and meaning preservation of GEC system outputs.

연구 동기 및 목표

• 스웨덴어 학습자 텍스트에 대해 다양한 GEC 시스템—규칙 기반, 기계 번역 기반, LLM 기반—의 성능을 평가하기 위해.
• 기존 기준 기반 평가 지표에서 보이는 편향을 규명하고, 어휘적 자연스러움과 전체 텍스트 향상보다는 보수적인 오류 수정을 선호하는 경향을 분석하기 위해.
• GEC 출력물에 대한 인간 후보 수정이 자동 평가 지표보다 더 신뢰할 만하고 통찰력 있는 평가 방법임을 입증하기 위해.
• 미래의 GEC 평가를 위해 각 GEC 출력물에 대해 인간 후보 수정, 문법성, 자연스러움, 의미 유지 점수를 포함한 새로운 데이터셋을 제공하기 위해.

제안 방법

• 최근에 발표된 스웨덴어 학습자 텍스트 데이터셋을 사용하며, 최소 수정, 자연스러운 수정, 자유로운 수정을 기준으로 삼음.
• 기준 기반 지표(GLEU 등)와 기준 미존재 지표(SOME, Scribendi 등)를 사용해 시스템 출력물을 비교함.
• 인간 평가자들이 문법성, 자연스러움, 의미 유지 정도를 5점 척도로 평가함.
• GEC 출력물과 인간 후보 수정 사례 간의 정규화된 문자 수준 레벤슈타인 거리로 후보 수정 거리를 정량화함.
• 자동 평가 지표와 인간 평가 간의 괴리를 분석해 평가 편향을 드러냄.
• 각 GEC 출력물에 대해 인간 후보 수정과 함께 문법성, 자연스러움, 의미 유지 정도 평가를 수행한 새로운 데이터셋을 구축함.

Figure 1: Multidimensional scaling view of all text versions, using normalized Levenshtein distance. The resulting graph is a tree, with its root at the “Original” node that represents the original text of the students. Edges represent transformations made by either computers (solid black lines) or

실험 결과

연구 질문

• RQ1 기준 기반 평가 지표와 기준 미존재 평가 지표가 GEC 출력물의 문법성, 자연스러움, 의미 유지 정도에 대한 인간 평가와 얼마나 일치하는가?
• RQ2 기준 기반 지표가 고도의 숙련도 수준에서 높은 성능을 내는 GEC 시스템을 구분하지 못하는 정도는 어느 정도인가?
• RQ3 인간 후보 수정은 자동 평가 지표가 간과하는 평가 편향을 드러내는 데 효과적인가, 특히 LLM 기반 시스템에서 그러한가?
• RQ4 GPT-3가 스웨덴어를 다루는 저자원 언어인 상황에서 few-shot 설정으로 다른 GEC 시스템에 비해 어떻게 성능을 냈는가?
• RQ5 최신 LLM 기반 GEC 시스템에 적용했을 때 현재 평가 방법론의 한계는 무엇인가?

주요 결과

• GPT-3가 few-shot 설정에서 스웨덴어에 대해 이전의 모든 GEC 시스템을 능가하며, 스웨덴어가 훈련 데이터의 0.11%에 불과한 상황에서도 인간 수준의 문법성과 자연스러움을 달성함.
• Scribendi와 SOME와 같은 기준 미존재 지표는 인간 평가와 높은 상관성을 보이지만, 신경망 기반 시스템이 인간 수정보다도 선호되는 경향이 있어 잠재적 편향을 드러냄.
• GLEU와 같은 기준 기반 지표는 높은 숙련도 수준에서 상한 효과를 보이며, 기계 번역 기반 시스템과 GPT-3 사이의 명백한 인간 평가 차이에도 불구하고 이를 구분하지 못함.
• 인간 후보 수정을 통해 모든 GEC 시스템이 인간 수준 성능에 크게 못 미치는 것으로 드러났으며, GPT-3는 가장 작은 후보 수정 거리를 보이며 더 높은 품질의 출력을 내는 것으로 나타남.
• 연구자들은 기준 기반 평가가 보수적인 오류 수정을 선호하고 의미 정확도와 자연스러움 향상 정도를 포착하지 못함을 규명함.
• 연구자들은 인간 후보 수정이 고성능 LLM 기반 시스템에 대해 자동 평가 지표보다 더 신뢰할 수 있고 정보가 풍부한 평가 방법임을 입증함.