[論文レビュー] The Annotation Guideline of LST20 Corpus

Prachya Boonkwan, Vorapon Luantangsrisuk+7 more|arXiv (Cornell University)|Aug 12, 2020

Natural Language Processing Techniques被引用数 11

ひとこと要約

本稿では、316万語、28万8020件の固有表現、24万8962文節、7万4180文を含む大規模で多層的なタイ語言語資源LST20のアノテーションガイドラインを提示する。5つのアノテーション層（語区切り、品詞タグ付け、固有表現、文節境界、文境界）をCoNLL-2003形式で整備し、共同ニューラルモデルの学習を可能にするとともに、タイ語が自然言語処理研究において言語的に豊かな言語であることを確立する。

ABSTRACT

This report presents the annotation guideline for LST20, a large-scale corpus with multiple layers of linguistic annotation for Thai language processing. Our guideline consists of five layers of linguistic annotation: word segmentation, POS tagging, named entities, clause boundaries, and sentence boundaries. The dataset complies to the CoNLL-2003-style format for ease of use. LST20 Corpus offers five layers of linguistic annotation as aforementioned. At a large scale, it consists of 3,164,864 words, 288,020 named entities, 248,962 clauses, and 74,180 sentences, while it is annotated with 16 distinct POS tags. All 3,745 documents are also annotated with 15 news genres. Regarding its sheer size, this dataset is considered large enough for developing joint neural models for NLP. With the existence of this publicly available corpus, Thai has become a linguistically rich language for the first time.

研究の動機と目的

• タイ語処理のための大規模で多層的な言語資源を確立すること。
• タイ語における豊富な言語資源の不足を補うために、標準的で高品質なアノテーションを提供すること。
• タイ語の下流NLPタスクにおける共同ニューラルモデルの開発を支援すること。
• タイ語テキストにおける多様な言語的層にわたる一貫性があり再現可能なアノテーションを可能にすること。
• タイ語の言語資源の状況を向上させ、NLP支援が整った言語として位置づけること。

提案手法

• コーパスは3,745件のニュース記事から構築され、それぞれが15種類の異なるニュースジャンルに分類された。
• 5つの言語的アノテーション層が適用された：語区切り、16種類の品詞タグを用いた品詞タグ付け、固有表現認識、文節境界検出、文境界検出。
• 既存のNLPツールやモデルとの互換性を確保するため、CoNLL-2003形式に従ってアノテーションが行われた。
• アノテーター間の一貫性を確保するため、詳細なアノテーションガイドラインが開発された。
• 多様なニュースジャンルを含めるようにデータセットがキュレートされ、より代表的で実用的なNLPモデルの学習に適した状態が確保された。
• アノテーター間合意度（inter-annotator agreement）が監視され、全言語的層における高品質なラベル付けが保証された。

実験結果

リサーチクエスチョン

• RQ1 一貫性のあるアノテーション基準を用いて、タイ語向けの大規模で多層的な言語資源を体系的に構築する方法は何か？
• RQ2 複数の言語的層にわたる高品質で再現可能なラベル付けを保証するためのアノテーションガイドラインはどのようなものが必要か？
• RQ3 1つのコーパスが、タイ語における複数のNLPタスク向けにニューラルモデルを共同で学習可能にする程度はどの程度か？
• RQ4 ジャンルレベルのメタデータを含めることで、言語資源の下流NLPアプリケーションにおける有用性はどのように向上するか？
• RQ5 エンドツーエンドのNLPモデル開発を支援する完全にアノテートされたタイ語コーパスの規模と言語的カバレッジはどの程度か？

主な発見

• LST20コーパスには316万4,864語、28万8,020件の固有表現、24万8,962件の文節、7万4,180文が含まれており、大規模なニューラルモデルの学習に適している。
• 16種類の異なる品詞タグが含まれており、タイ語テキストの細かいつくりの句法学的アノテーションが可能である。
• 3,745件のすべての文書が15種類の異なるニュースジャンルにアノテートされており、コーパスの多様性と代表性が向上している。
• CoNLL-2003形式の採用により、既存のNLPツールキットや学習パイプラインへの直接統合が可能である。
• 言語的に豊富で公開可能なリソースを確立することで、タイ語NLP分野における大きな前進をもたらしている。
• 標準化されたアノテーションガイドラインにより、全言語的層およびアノテーター間で一貫性と再現性が保証されている。