[論文レビュー] CRF-based Named Entity Recognition @ICON 2013

Arjun Das, Utpal Garain|arXiv (Cornell University)|Sep 29, 2014

Topic Modeling参考文献 5被引用数 5

ひとこと要約

本論文は、ベンガル語、ヒンディー語、英語のWikipediaからの地名語彙と言語に依存しない特徴を用いて、インドの言語向けのCRFベースの固有表現抽出（NER）システムを提示する。英語ではF1スコア88%、ベンガル語では87%を達成したが、地名語彙が不足しているためタミル語とテルグ語では69%にとどまり、低リソース環境における言語固有リソースの影響を示している。

ABSTRACT

This paper describes performance of CRF based systems for Named Entity Recognition (NER) in Indian language as a part of ICON 2013 shared task. In this task we have considered a set of language independent features for all the languages. Only for English a language specific feature, i.e. capitalization, has been added. Next the use of gazetteer is explored for Bengali, Hindi and English. The gazetteers are built from Wikipedia and other sources. Test results show that the system achieves the highest F measure of 88% for English and the lowest F measure of 69% for both Tamil and Telugu. Note that for the least performing two languages no gazetteer was used. NER in Bengali and Hindi finds accuracy (F measure) of 87% and 79%, respectively.

研究の動機と目的

• 条件付きランダムフィールド（CRF）を用いて、インドの言語向けに強固で多言語に跨る固有表現抽出（NER）システムを開発すること。
• 多様なインドの言語（リソースの可用性が異なる）において、言語に依存しない特徴の有効性を評価すること。
• Wikipediaやその他のソースから構築された地名語彙が、低リソースのインド語におけるNERパフォーマンスに与える影響を調査すること。
• 英語、ベンガル語、ヒンディー語、タミル語、テルグ語を含む複数のインド語におけるシステムパフォーマンスを比較すること。
• 特にタミル語やテルグ語などのドラヴィダ語系言語において、低リソース環境でのパフォーマンスのボトル neck を特定すること。

提案手法

• テキスト内のトークンに対して固有表現タグ（例：人物、場所）を予測するために、CRFベースのシーケンスラベルリングモデルが使用される。
• 言語に依存しない特徴（語の形態、語尾、文脈ウィンドウなど）が、すべての言語で一様に使用される。
• 英語では、固有名の認識を向上させるために、言語固有の特徴（大文字の使用）が追加される。
• Wikipedia や外部ソースから得た地名語彙を用いて、既知のエンティティ（人物名、場所など）を含める。
• 各トークンのローカルな文脈と語彙的パターンをエンコードするために、特徴テンプレートが使用される。
• ハイパーパramータチューニングのためのグリッドサーチを用い、CRF++や同様のCRFツールキットを用いてモデルの学習と推論が実施される。

実験結果

リサーチクエスチョン

• RQ1 複数のインドの言語にわたり、言語に依存しない特徴のみを用いたCRFベースのNERシステムは、どの程度有効であるか？
• RQ2 Wikipediaからの地名語彙を統合することで、インドの言語におけるNERパフォーマンスはどの程度向上するか？
• RQ3 なぜ、地名語彙が存在しない状況でタミル語とテルグ語のパフォーマンスがヒンディー語やベンガル語と比べて顕著に低くなるのか？
• RQ4 言語固有の特徴（大文字の使用）を英語のNERに組み込むことで、パフォーマンスにどのような影響があるか？
• RQ5 言語の多様性とリソースの可用性が、低リソースのインド語におけるCRFベースのNERに与える相対的な影響は何か？

主な発見

• 英語では言語固有の特徴を用いることで、最高のF1スコア88%を達成し、優れたパフォーマンスを示した。
• ベンガル語ではF1スコア87%に達し、地名語彙を用いたCRFモデルの高い有効性が裏付けられた。
• ヒンディー語ではF1スコア79%を記録し、地名語彙を用いても中程度のパフォーマンスにとどまった。
• タミル語とテルグ語は両方ともF1スコア69%で、全言語の中で最低であり、地名語彙の欠如が原因であった。
• 言語間のパフォーマンス格差は、低リソースのインド語における地名語彙の重要性を強調している。
• 言語に依存しない特徴だけでは、低リソース環境での最適なパフォーマンスを達成できないことが確認された。