[論文レビュー] Automatically Annotated Turkish Corpus for Named Entity Recognition and Text Categorization using Large-Scale Gazetteers

H. Bahadir Sahin, Çağlar Tırkaz+3 more|arXiv (Cornell University)|Feb 8, 2017

Topic Modeling参考文献 25被引用数 8

ひとこと要約

本稿では、Freebase由来の地名辞書とノイズ低減技術を用いて構築された、名前付きエンティティ抽出（NER）およびテキスト分類（TC）向けの大規模で自動アノテーションが施されたトルコ語コーパス、TWNERTCデータセットを紹介する。6種類のデータセットバージョンを提供し、細分化されたエンティティタイプと粗めのエンティティタイプを備えており、人間によるアノテーションと高い一致度（最高で59.5％のtop-5一致）を示しており、トルコ語自然言語処理研究のための最大の公開リソースとなっている。

ABSTRACT

Turkish Wikipedia Named-Entity Recognition and Text Categorization (TWNERTC) dataset is a collection of automatically categorized and annotated sentences obtained from Wikipedia. We constructed large-scale gazetteers by using a graph crawler algorithm to extract relevant entity and domain information from a semantic knowledge base, Freebase. The constructed gazetteers contains approximately 300K entities with thousands of fine-grained entity types under 77 different domains. Since automated processes are prone to ambiguity, we also introduce two new content specific noise reduction methodologies. Moreover, we map fine-grained entity types to the equivalent four coarse-grained types: person, loc, org, misc. Eventually, we construct six different dataset versions and evaluate the quality of annotations by comparing ground truths from human annotators. We make these datasets publicly available to support studies on Turkish named-entity recognition (NER) and text categorization (TC).

研究の動機と目的

• NERおよびTCのためのトルコ語アノテーションデータセットの不足を解消するため、大規模で自動アノテーションが施されたコーパスを構築すること。
• 曖昧さやノイズといった自動エンティティアノテーションの課題を、分野特異的および分野に依存しないノイズ低減手法を用いて克服すること。
• ベンチマーク用に、細分化されたエンティティタイプと粗めのエンティティタイプの両方を備えた包括的なデータセットを構築すること。
• 自動アノテーションの品質を、人間によるアノテーションと比較して評価し、下流の研究に信頼性をもたせること。

提案手法

• Freebaseからエンティティおよび分野情報を抽出するためのグラフクローラーを用いて、77の分野にわたる約30万エンティティ、数千の細分化されたタイプを持つ大規模な地名辞書を構築した。
• 細分化されたエンティティタイプを4つの粗めのカテゴリ（person, loc, org, misc）にマッピングし、多段階のNER評価を可能にした。
• 分野に依存しないノイズ低減法と分野特異的ノイズ低減法の2つのアプローチを適用し、曖昧なエンティティタイプのマッピングを解消することで、アノテーション品質を向上させた。
• 地名辞書を用いてトルコ語Wikipediaの文を自動アノテーションし、ノイズ低減法とエンティティタイプの細分化度合いに基づいて6つの異なるデータセットバージョンを生成した。
• 自動アノテーションの品質を、F1スコアとtop-k一致度指標を用いて、人間によるアノテーションと比較することで評価した。
• すべてのデータセットバージョンをDOIを介して公開し、NERおよびTCタスクのベンチマークに使用可能にした。

実験結果

リサーチクエスチョン

• RQ1 Freebaseから抽出した大規模な地名辞書を用いた自動エンティティアノテーションは、トルコ語NLPタスクにおいてどの程度効果的か？
• RQ2 分野特異的および分野に依存しないノイズ低減手法は、トルコ語NERおよびTCにおけるアノテーション品質をどの程度向上させるか？
• RQ3 自動で割り当てられた細分化されたエンティティタイプおよびテキストカテゴリは、トルコ語テキストにおいて人間によるアノテーションとどの程度一致するか？
• RQ4 厳密基準、マクロ、マイクロF1スコアを用いた場合、自動NERおよびTCアノテーションの性能はどの程度か？
• RQ5 複数の候補タイプ（top-1からtop-5）を考慮した場合、自動予測と人間アノテーターとの一致度はどの程度向上するか？

主な発見

• 細分化されたNERを評価する際、TWNERTCデータセットは人間アノテーターと59.5％のtop-5一致率を達成しており、人間の判断と強い整合性を示している。
• 分野に依存しない（DI）ノイズ低減法は、F1スコアを0.494（ゆるいマクロ）および0.476（ゆるいマイクロ）まで向上させ、分野特異的（DD）手法を上回った。
• テキスト分類においては、top-1の正答率は46.4％であったが、top-3では90.0％、top-5では97.5％まで上昇し、正しい分野割り当ての可能性が非常に高いことが示された。
• 元のTWNERTCデータセットは厳密F1スコアで0.274と低かったが、ノイズ低減を施した後処理済みバージョンでは性能が著しく向上した。
• 複数の候補タイプを考慮した場合、人間アノテーターと自動予測の間に強い一致が見られ、自動アノテーションパイプラインの信頼性が裏付けられた。
• 本研究は、Freebaseのような知識ベースを用いた自動アノテーションに加え、ノイズ低減を組み合わせることで、トルコ語のような低リソース言語に対しても高品質でスケーラブルなデータセットを構築可能であることを確認した。