[論文レビュー] A FOFE-based Local Detection Approach for Named Entity Recognition and Mention Detection

Mingbin Xu, Hui Jiang|arXiv (Cornell University)|Nov 2, 2016

Topic Modeling参考文献 11被引用数 11

ひとこと要約

本稿では、名前付きエンティティ認識（NER）およびメンション検出のための、新しいFOFEベースのローカル検出手法を提案する。各文の断片を独立した単位として分類するため、固定サイズの順序忘れ符号化（FOFE）を用いて文脈情報を捉える。この手法は、CoNLL 2003およびTAC-KBP2015/2016 EDLタスクにおいて強力な性能を示し、システム統合後の三ヶ国語KB2016評価ではF1スコアが0.754に達した。

ABSTRACT

In this paper, we study a novel approach for named entity recognition (NER) and mention detection in natural language processing. Instead of treating NER as a sequence labelling problem, we propose a new local detection approach, which rely on the recent fixed-size ordinally forgetting encoding (FOFE) method to fully encode each sentence fragment and its left/right contexts into a fixed-size representation. Afterwards, a simple feedforward neural network is used to reject or predict entity label for each individual fragment. The proposed method has been evaluated in several popular NER and mention detection tasks, including the CoNLL 2003 NER task and TAC-KBP2015 and TAC-KBP2016 Tri-lingual Entity Discovery and Linking (EDL) tasks. Our methods have yielded pretty strong performance in all of these examined tasks. This local detection approach has shown many advantages over the traditional sequence labelling methods.

研究の動機と目的

• 従来のシーケンスラベリングの限界を克服するため、各断片を独立して評価するローカル検出フレームワークを提案すること。
• 変動長の文断片とその左・右の文脈を完全に符号化することで、エンティティ認識およびメンション検出を向上させること。
• 固定サイズの順序忘れ符号化（FOFE）手法を活用し、特徴工学の情報損失なしに文脈情報を保持すること。
• CoNLL 2003およびTAC-KBP2015/2016 EDLタスクを含む、複数のベンチマークNLPタスクで最先端の性能を達成すること。
• 本手法がPOSタギング、チャンクング、意味解析などの他の自然言語処理タスクにも一般化可能であることを示すこと。

提案手法

• 最大長までに制限された各文断片を、エンティティ認識の候補として独立して処理する。
• 固定サイズの順序忘れ符号化（FOFE）手法を用い、断片およびその左・右の文脈を固定サイズのベクトル表現に符号化する。
• シンプルなフィードフォワードニューラルネットワークを用いて、各断片を有効なエンティティ（カテゴリあり）または非エンティティに分類する。
• 単語および文字埋め込みを用いてエンドツーエンドでモデルを学習し、学習データを90％の訓練、5％の検証、5％のテストに分割する。
• 多言語タスクでは、word2vecを用いて多言語コーパス（例：英語、中国語、スペイン語Gigaword）上で単語埋め込みを学習する。
• Liuら（2016）のCNN-RNNモデルとのシステム統合により、特にリコール性能が向上し、KBP2016 EDLトラックでの性能が向上した。

実験結果

リサーチクエスチョン

• RQ1 FOFE符号化に基づくローカル検出アプローチは、NERおよびメンション検出において、従来のシーケンスラベリング手法を上回る性能を発揮できるか？
• RQ2 NERタスクにおいて、変動長の文断片の文脈情報をFOFEがどの程度効果的に保持できるか？
• RQ3 異なる学習データソース（例：KBP2015、WIKI、iFLYTEK）を統合することで、エンティティ発見性能にどのような影響を与えるか？
• RQ4 本手法は、ネストされたおよび名詞的メンションを含む、複数の言語およびエンティティタイプにどの程度一般化可能か？
• RQ5 CNN-RNNモデルとのシステム統合は、多言語エンティティ発見およびリンクタスクにおける全体の性能にどのように影響を与えるか？

主な発見

• 本手法は、KBP2015およびiFLYTEKデータで学習した場合、KBP2016英語エンティティ発見タスクでF1スコア0.731を達成し、単一データソースで学習したモデルを上回った。
• 弱いラベルが付与されたWikipediaデータ（WIKI）を追加することで、KBP2016英語評価のF1スコアは0.693から0.707に向上した。
• 公式のKBP2016三ヶ国語EDL評価では、全体のF1スコアが0.718に達し、最も強力な提出物の一つにランクされた。
• Liuら（2016）のCNN-RNNモデルとのシステム統合により、F1スコアは0.754に向上し、リコールが0.735に達した。これは相補的な強みを示している。
• 名前付きエンティティおよび名詞的メンションの両方で強力な性能を示し、英語では名詞的エンティティのリコールが0.336、中国語では0.258を達成した。
• 英語では名前付きエンティティでF1スコア0.840、中国語では0.768を達成し、優れた多言語一般化性能を示した。