[論文レビュー] Developing a Fine-Grained Corpus for a Less-resourced Language: the case of Kurdish

Roshna Omer Abdulrahman, Hossein Hassani+1 more|arXiv (Cornell University)|Sep 25, 2019

Natural Language Processing Techniques参考文献 13被引用数 8

ひとこと要約

本稿では、イラク・クルド地方における31冊の小中学校教科書を対象にした、Soraniクルド語向けの最初のドメイン特化型コーパスKTCを紹介する。このコーパスは正規化され、12の教育分野に分類されており、693,800語のトークンと110,297語の語彙を含み、NLPタスク、特に低リソース言語環境下での言語モデル作成や文法的誤り訂正を支援する目的で、CC BY-NC-SA 4.0ライセンスのもとで公開されている。

ABSTRACT

Kurdish is a less-resourced language consisting of different dialects written in various scripts. Approximately 30 million people in different countries speak the language. The lack of corpora is one of the main obstacles in Kurdish language processing. In this paper, we present KTC-the Kurdish Textbooks Corpus, which is composed of 31 K-12 textbooks in Sorani dialect. The corpus is normalized and categorized into 12 educational subjects containing 693,800 tokens (110,297 types). Our resource is publicly available for non-commercial use under the CC BY-NC-SA 4.0 license.

研究の動機と目的

• Soraniクルド語は複数の方言とスクリプトを有する低リソース言語であるが、ドメイン特化型かつアノテート済みコーパスが不足しているという問題に応えるため。
• 公式の小中学校教科書から高品質で正規化され、教育分野別に分類されたコーパスを構築し、NLP開発を支援するため。
• 科学的・教育的文書における言語モデル作成、スペルチェック、文法的誤り訂正などのタスクに信頼できるリソースを提供するため。
• 非Unicodeエンコーディングや一貫性の欠如する綴りの問題により、クルド語テキストのデジタル化および正規化が困難であるという課題を克服するため。
• 特にクルド語のカーマンジ方言向けの今後のコーパス構築の基盤を築くため。

提案手法

• イラク自治政府の教育省から、Microsoft WordおよびAdobe InDesign形式の31冊の小中学校教科書を取得した。
• 非UnicodeテキストをUnicodeに変換し、公式の地域綴り基準に従って手動による正規化を実施して綴りの不一致を是正した。
• 下流のNLPタスクに適したテキストの整合性を保つために、句読点や特殊文字を保持した。
• 教科書を教育分野および学年レベルごとに分類し、12の明確な教育分野に分類した。
• 綴りやエンコーディングの課題があるため、人間の監視を伴う半自動パイプラインをテキスト処理に適用した。
• GitHubを通じてCC BY-NC-SA 4.0ライセンスのもとで非営利研究目的で公開した。

実験結果

リサーチクエスチョン

• RQ1 Soraniのような低リソースのクルド語方言向けに、高品質でドメイン特化型のコーパスをどのように構築できるか。
• RQ2 非標準的なエンコーディングや綴りの問題を伴うクルド語教育教科書のデジタル化および正規化において、どのような課題が生じるか。
• RQ3 KTCコーパスが言語モデル作成や文法的誤り訂正などのNLPタスクにどの程度寄与できるか。
• RQ4 編集済みの専門家監修教科書コーパスが、クルド語におけるNLPシステムの学習および評価に信頼できるリソースとして機能できるか。
• RQ5 異なる教育分野において、コーパスの言語的・構造的多様性はどの程度か。

主な発見

• KTCコーパスには、12の教育分野にまたがる31冊の教科書から、693,800語のトークンと110,297語の固有語彙が含まれている。
• コーパスは小学校から高校までをカバーしており、物理学（111,032語）、神学（115,349語）、クルド語教育（153,334語）などの教科が含まれている。
• 頻出語彙には、『に』（لە）、『と』（و）、『へ』（بۆ）といった機能語が多く含まれており、語彙頻度分布におけるジープの法則と整合的である。
• 句読点や特殊文字を保持しているため、テキストの正確性を重視するタスクにおいて、その有用性が向上している。
• 正規化プロセスにより、公式の地域標準に従って綴りの不整合が解決され、テキスト品質が向上した。
• コーパスはhttps://github.com/KurdishBLARK/KTCにてCC BY-NC-SA 4.0ライセンスのもとで公開されており、非営利研究目的での利用が可能である。