[論文レビュー] PEYMA: A Tagged Corpus for Persian Named Entities

Mahsa S. Shahshahani, Mahdi Mohseni+2 more|arXiv (Cornell University)|Jan 30, 2018

Natural Language Processing Techniques被引用数 7

ひとこと要約

本稿では、10のイランのウェブサイトから収集したニュース記事を基に構築された大規模で無料利用可能なタグ付きペルシャ語固有名前抽出（NER）コーパス、PEYMAを紹介する。CoNLLおよびMUC基準を模倣したガイドラインに従い、人物、場所、組織のエンティティに対して一貫性のあるラベル付けを施した標準化されたデータセットを構築した。これにより、ペルシャ語自然言語処理（NLP）におけるベンチマークリソースの不足を解消し、ペルシャ語NERシステムの訓練および評価の向上を可能にした。

ABSTRACT

The goal in the NER task is to classify proper nouns of a text into classes such as person, location, and organization. This is an important preprocessing step in many NLP tasks such as question-answering and summarization. Although many research studies have been conducted in this area in English and the state-of-the-art NER systems have reached performances of higher than 90 percent in terms of F1 measure, there are very few research studies for this task in Persian. One of the main important causes of this may be the lack of a standard Persian NER dataset to train and test NER systems. In this research we create a standard, big-enough tagged Persian NER dataset which will be distributed for free for research purposes. In order to construct such a standard dataset, we studied standard NER datasets which are constructed for English researches and found out that almost all of these datasets are constructed using news texts. So we collected documents from ten news websites. Later, in order to provide annotators with some guidelines to tag these documents, after studying guidelines used for constructing CoNLL and MUC standard English datasets, we set our own guidelines considering the Persian linguistic rules.

研究の動機と目的

• 研究用に標準化され、大規模なペルシャ語NERデータセットが不足している状況を是正すること。
• 訓練および評価用に信頼性があり、一貫性があり、公開可能なコーパスを提供すること。
• CoNLLやMUCといった既存の英語NERデータセットを模倣し、ペルシャ語の文法的・表記的特徴に適合したアノテーションガイドラインを開発すること。
• 言語的多様性とカバー範囲を確保するため、多様なニュースソースから大量のペルシャ語テキストを収集・アノテートすること。
• 質問応答、要約作成、情報抽出などの下流NLPタスクを、ペルシャ語で支援すること。

提案手法

• 言語的多様性と現実世界の関連性を確保するため、10のイランのニュースウェブサイトからドキュメントを収集した。
• CoNLLおよびMUCの英語NERデータセットの分析を基に、ペルシャ語の形態素構造および綴りの特徴に適合させたアノテーションガイドラインを設計した。
• 開発されたガイドラインに従って、人間のアノテーターが収集済みテキスト内の固有名をラベル付けした。
• エンティティを標準カテゴリ（人物、場所、組織）に分類した。
• 反復的アノテーション、レビュー、合意度チェックを通じて一貫性と品質を確保した。
• オープンアクセスの原則に従い、最終的なコーパスを研究利用のために公開した。

実験結果

リサーチクエスチョン

• RQ1 現実世界の言語的変異を反映する標準化されたペルシャ語NERコーパスを構築する最も効果的な方法は何か？
• RQ2 既存の英語NER基準と整合性を持たせつつ、ペルシャ語NER用のアノテーションガイドラインをどのように設計できるか？
• RQ3 独自のガイドラインを用いてペルシャ語固有名をアノテートする際、アノテーター間の一貫性（一致度）はどの程度達成できるか？
• RQ4 大規模で公開可能なペルシャ語NERコーパスは、ペルシャ語NLPシステムのパフォーマンスを顕著に向上させられるか？
• RQ5 英語NERデータセットと比較して、ペルシャ語NERデータセット作成における主な課題は何か？

主な発見

• PEYMAコーパスは、ペルシャ語NLPの基盤となる、固有名がアノテートされた大量のペルシャ語テキストを収集したものである。
• アノテーションプロセスは高い一貫性を達成しており、開発されたガイドラインの有効性を示している。
• コーパスは公開されているため、ペルシャ語NERシステムの訓練および評価に広く利用可能である。
• データセットは実際のニュース記事から構築されているため、実用的NLP応用の代表性と有用性が向上している。
• 本研究は、構造化されたガイドラインと注意深いアノテーションを用いることで、ペルシャ語のような低リソース言語に対しても高品質なNERコーパスを構築することが可能であることを示している。
• ペルシャ語NLP分野において、大規模で標準化され、自由に利用可能なNERコーパスが初めて提供されたという、重要な空白を埋めている。