[논문 리뷰] UA-GEC: Grammatical Error Correction and Fluency Corpus for the Ukrainian Language

Oleksiy Syvokon, Olena Nahorna|arXiv (Cornell University)|2021. 03. 31.

Text Readability and Simplification인용 수 13

한 줄 요약

이 논문은 20,715개의 문장으로 구성된, 다양한 국내외 작가들로부터 수집된 첫 번째 전문가가 검수한 우크라이나어 문법 오류 수정 및 유창성 코퍼스인 UA-GEC를 소개한다. 온라인 제출을 통해 수집되었으며 전문 수정자가 문법, 철자, 문장 부호, 유창성 오류를 수정하였다. 평균 오류율은 7.1%이며, CC-BY 4.0 라이선스 하에 공개되어, 저자원, 형태적 특징이 뚜렷한 언어의 NLP 연구를 촉진한다.

ABSTRACT

We present a corpus professionally annotated for grammatical error correction (GEC) and fluency edits in the Ukrainian language. To the best of our knowledge, this is the first GEC corpus for the Ukrainian language. We collected texts with errors (20,715 sentences) from a diverse pool of contributors, including both native and non-native speakers. The data cover a wide variety of writing domains, from text chats and essays to formal writing. Professional proofreaders corrected and annotated the corpus for errors relating to fluency, grammar, punctuation, and spelling. This corpus can be used for developing and evaluating GEC systems in Ukrainian. More generally, it can be used for researching multilingual and low-resource NLP, morphologically rich languages, document-level GEC, and fluency correction. The corpus is publicly available at https://github.com/grammarly/ua-gec

연구 동기 및 목표

• 우크라이나어의 문법 오류 수정(GEC)을 위한 고품질의 전문가가 검수한 학습 및 평가 데이터의 부족을 해결하기 위해.
• 다국어 및 저자원 NLP 연구를 지원하며, 특히 우크라이나어와 같이 형태적 특징이 뚜렷한 언어에 초점을 맞추기 위해.
• 우크라이나어에 특화된 GEC 및 유창성 수정 시스템의 개발 및 평가를 가능하게 하기 위해.
• 다양한 작문 분야와 수준의 어휘 능력에 걸쳐 대표적인 데이터셋을 제공하기 위해.

제안 방법

• 492명의 기여자들로부터 온라인 양식을 통해 오류가 있는 텍스트를 수집하였으며, 다양한 작문 분야의 어원어 및 비모국어 사용자들을 포함하였다.
• 기여자들은 수정 없이 에세이, 번역, 개인적 텍스트를 제출하여 자연스러운 오류를 유지하였다.
• 전문 수정자가 문법, 철자, 문장 부호, 유창성 오류를 수정하였으며, 원어민 사용자가 자연스럽게 들리는 텍스트로 다듬는 데 중점을 두었다.
• 기여자 집합이 서로 겹치지 않도록 훈련 세트(18,225개 문장)와 테스트 세트(2,490개 문장)로 코퍼스를 분할하여 데이터 독립성을 확보하였다.
• 테스트 세트는 두 번의 독립적인 검수를 통해 상호 검수자 간 일致도를 평가하고 수정 품질을 향상시켰다.
• 최종 코퍼스는 다섯 가지 오류 유형에 걸쳐 총 23,496개의 검수를 포함하며, 평균 오류율은 7.1%이다.

실험 결과

연구 질문

• RQ1 모국어 및 비모국어 사용자가 작성한 우크라이나어 문장에서 오류 유형의 분포는 어떻게 되는가?
• RQ2 유창성 및 문장 구조 수정에 있어서, 우크라이나어 GEC의 상호 검수자 간 일치도는 다른 언어와 비교해 어떻게 되는가?
• RQ3 비모국어 사용자가 캘크, 어휘 어울림 오류, 문장 부호 오용 등의 특정 오류 유형에 얼마나 기여하는가?
• RQ4 UA-GEC의 오류율과 오류 유형 분포는 다른 언어의 기존 GEC 코퍼스와 비교해 어떻게 되는가?
• RQ5 공개된 전문가가 검수한 코퍼스가 우크라이나어 GEC 시스템의 개발 및 평가에 상당한 기여를 할 수 있는가?

주요 결과

• UA-GEC 코퍼스는 1,011개의 텍스트에서 유래한 20,715개의 문장으로 구성되어 있으며, 훈련 및 테스트 세트에서 평균 오류율은 7.1%이다.
• 문장 부호 오류가 가장 빈도가 높았으며(1,000단어당 28.3건), 이어 철자 오류(14.8건), 유창성 오류(16.9건), 문법 오류(11.3건) 순이었다.
• 유창성 오류는 전체 오류의 20.8%(5,561건)를 차지하였으며, 비모국어 사용자의 캘크와 비표준 표현이 주요 원인으로 나타났다.
• 두 번째 검수 후 수정이 없었던 문장에 대해 상호 검수자 간 일치도는 64%였으며, 이는 복잡한 유창성 수정 작업에서도 높은 일致도를 보임을 시사한다.
• 이 코퍼스는 우크라이나어에 대해 처음으로 제작된 것으로, https://github.com/grammarly/ua-gec 에서 CC-BY 4.0 라이선스 하에 공개되어, 향후 저자원 및 형태적 특징이 뚜렷한 언어의 NLP 연구를 가능하게 한다.