[論文レビュー] UA-GEC: Grammatical Error Correction and Fluency Corpus for the Ukrainian Language

Oleksiy Syvokon, Olena Nahorna|arXiv (Cornell University)|Mar 31, 2021

Text Readability and Simplification被引用数 13

ひとこと要約

本稿では、ウクライナ語の文法的誤り訂正（GEC）および自然な表現のコーパスとして、プロフェッショナルにアノテートされた初のコーパス、UA-GECを紹介する。このコーパスは、多様なネイティブおよび非ネイティブライターから得られた20,715文を含み、オンラインでの提出を経てプロフェッショナルな校正者が校正した。文法、綴り、標点、自然さに関する誤りをカバーし、平均誤り率は7.1%である。CC-BY 4.0ライセンスの下で公開されており、低リソースで変形に富んだ言語のNLP研究を促進することを目的としている。

ABSTRACT

We present a corpus professionally annotated for grammatical error correction (GEC) and fluency edits in the Ukrainian language. To the best of our knowledge, this is the first GEC corpus for the Ukrainian language. We collected texts with errors (20,715 sentences) from a diverse pool of contributors, including both native and non-native speakers. The data cover a wide variety of writing domains, from text chats and essays to formal writing. Professional proofreaders corrected and annotated the corpus for errors relating to fluency, grammar, punctuation, and spelling. This corpus can be used for developing and evaluating GEC systems in Ukrainian. More generally, it can be used for researching multilingual and low-resource NLP, morphologically rich languages, document-level GEC, and fluency correction. The corpus is publicly available at https://github.com/grammarly/ua-gec

研究の動機と目的

• ウクライナ語における文法的誤り訂正（GEC）のための高品質でプロフェッショナルにアノテートされた訓練および評価データの不足に対処すること。
• 特にウクライナ語のような変形に富んだ言語に対して、多言語および低リソースNLPの研究を支援すること。
• ウクライナ語に特化したGECおよび自然さの訂正システムの開発と評価を可能にすること。
• 複数の作成分野および熟達度レベルをカバーする多様で代表的なデータセットを提供すること。

提案手法

• 492人の寄付者からオンラインフォームを介して誤りを含むテキストを収集し、多様な作成分野にわたるネイティブおよび非ネイティブライターを含めた。
• 寄付者は校正を行わず、エッセイ、翻訳、個人的なテキストを提出することで、自然な誤りを保持した。
• プロフェッショナルな校正者が文法、綴り、標点、自然さに関する誤りを訂正し、ネイティブスピーカーが自然に聞こえるようにすることに重点を置いた。
• データの独立性を保つために、別々のライターのセットを用いてコーパスを訓練（18,225文）とテスト（2,490文）に分割した。
• テストセットは2度にわたり独立してアノテートされ、インターアノテーター整合性の評価および訂正品質の向上が図られた。
• 最終的なコーパスは5つの誤りカテゴリにわたり23,496件のアノテーションを含み、平均で7.1%の誤り率を示した。

実験結果

リサーチクエスチョン

• RQ1 ネイティブおよび非ネイティブライターが作成するウクライナ語の書かれたテキストにおける誤りタイプの分布はどのようなものか？
• RQ2 特に自然さおよび構造的訂正に関して、ウクライナ語のGECにおけるインターアノテーター整合性は他の言語と比べてどうか？
• RQ3 非ネイティブライターは、カルクス、語の組み合わせの誤り、あるいは標点の誤用といった特定の誤りタイプにどの程度寄与しているか？
• RQ4 UA-GECにおける誤り率および誤りタイプの分布は、他の言語の既存のGECコーパスと比べてどうか？
• RQ5 公開済みでプロフェッショナルにアノテートされたコーパスは、ウクライナ語のGECシステムの開発および評価を顕著に改善できるか？

主な発見

• UA-GECコーパスは、1,011件のテキストからなる20,715文を含み、訓練およびテストセットの平均誤り率は7.1%であった。
• 標点の誤りが最も頻度が高く（1,000トークンあたり28.3件）、次いで綴り（14.8）、自然さ（16.9）、文法（11.3）の順であった。
• 自然さの誤りは全誤りの20.8%（5,561件）を占め、非ネイティブライター由来のカルクスや非標準表現が大きな要因であった。
• 2度目の校正後にも変更のない文についてのインターアノテーター整合性は64%であった。これは、自然さの訂正という複雑さにもかかわらず、高い一貫性があることを示している。
• このコーパスはウクライナ語用としては初のものであり、https://github.com/grammarly/ua-gec にてCC-BY 4.0ライセンスの下で公開されており、今後の低リソースおよび変形に富んだ言語のNLP研究を可能にする。