[論文レビュー] Neural Reranking for Named Entity Recognition

Jie Yang, Yue Zhang+1 more|arXiv (Cornell University)|Jul 17, 2017

Topic Modeling被引用数 9

ひとこと要約

この論文は、名前付きエンティティ認識（NER）のためのニューラル再ランクモデルを提案し、エンティティの表記（例：PER、LOC）に置き換えた「収縮された」シーケンスを用いてLSTMとCNNでグローバルな文のパターンを学習することで、NERのパフォーマンスを向上させる。これらのパターン化されたシーケンスのディープニューラル表現を活用することで、F1スコアが著しく向上し、CoNLL 2003ベンチマークで91.62%という報告済み最高の結果を達成した。これは、離散的およびニューラルベースラインを上回る性能を示した。

ABSTRACT

We propose a neural reranking system for named entity recognition (NER). The basic idea is to leverage recurrent neural network models to learn sentence-level patterns that involve named entity mentions. In particular, given an output sentence produced by a baseline NER model, we replace all entity mentions, such as extit{Barack Obama}, into their entity types, such as extit{PER}. The resulting sentence patterns contain direct output information, yet is less sparse without specific named entities. For example, "PER was born in LOC" can be such a pattern. LSTM and CNN structures are utilised for learning deep representations of such sentences for reranking. Results show that our system can significantly improve the NER accuracies over two different baselines, giving the best reported results on a standard benchmark.

研究の動機と目的

• 標準的なシーケンスラベル付けモデルが捉えにくいエンティティタイプを含むグローバルな文のパターンを活用することで、名前付きエンティティ認識（NER）のパフォーマンスを向上させること。
• 特定の名前付きエンティティによって引き起こされる候補シーケンスのスパarsityとノイズを軽減するため、エンティティを一般化されたエンティティタイプラベルに置き換えること。
• RNNおよびCNNを用いて、収縮された文のパターンのディープ表現を学習するニューラル再ランクフレームワークを開発し、候補ラベルシーケンスのスコアリングを向上させること。
• ベースライン予測とニューラル再ランクを組み合わせることで、標準的なNERベンチマークで最先端のパフォーマンスを達成すること。
• 文字レベルの埋め込みや位置情報などの補助ニューラル特徴量を活用して、シーケンス表現を豊かにすることの有効性を検討すること。

提案手法

• ベースライン出力シーケンス内の予測された名前付きエンティティの表記を、対応するエンティティタイプラベル（例：PER、ORG、LOC、MISC）に置き換え、『収縮された』文のパターンを形成する。
• 双方向LSTMを用いて、収縮された文のパターンにおけるエンティティタイプと語のシーケンスを符号化し、長距離依存関係を捉える。
• 畳み込みニューラルネットワーク（CNN）を統合し、符号化された表現からの局所的n-gram特徴を抽出することで、パターンの識別を向上させる。
• 文字レベルの埋め込みを補助特徴として組み込み、特にレアまたはOOV（語彙外）エンティティの語表現学習を強化する。
• 混合再ランク戦略を用いて、ベースラインモデルの確率と再ランクスコアを統合し、最終予測の信頼性を向上させる。
• 交差エントロピー損失を用いて、正しいエンティティタイプと境界予測を最適化するため、ベースラインNERモデルが生成した候補シーケンス上で、再ランクモデルをエンドツーエンドに訓練する。

実験結果

リサーチクエスチョン

• RQ1 エンティティタイプを含むグローバルな文のパターンを学習することで、局所的なシーケンスラベル付けを越えてNERのパフォーマンスを向上させられるか？
• RQ2 候補シーケンスにおける名前付きエンティティをそのタイプに置き換えることで、ニューラル再ランクにおけるスパarsityと一般化性能が向上するか？
• RQ3 LSTMとCNNに基づくニューラル再ランクモデルは、ベースラインモデルと比較して、より妥当な文のパターンを効果的に学習・スコアリングできるか？
• RQ4 補助ニューラル特徴量（例：文字レベルの埋め込み）を用いることで、再ランクモデルが正しいと誤ったエンティティ予測を区別する能力がどの程度向上するか？
• RQ5 提案されたニューラル再ランクフレームワークは、CoNLL 2003のような標準的なNERベンチマークで最先端のパフォーマンスを達成するか？

主な発見

• 提案されたニューラル再ランクモデルは、CoNLL 2003のテストセットでF1スコア91.62%を達成し、これまで報告された中で最高の結果となった。
• 強力な離散的CRFベースライン（F1: 90.77%）および最先端のニューラルベースライン（F1: 91.25%）を大きく上回る性能を示した。
• 開発セットにおける定性的な例から、モデルがエンティティの境界エラーとタイプエラーの両方を効果的に是正していることが確認された。
• エンティティをそのタイプに置き換えた『収縮された』文のパターンを用いることで、よりロバストで一般化可能な文レベルのパターンを学習できるようになった。
• CNNと文字レベル特徴の統合により、特に長文において候補シーケンスの微細な差を識別する能力が向上した。
• ベースライン確率と再ランクスコアを組み合わせる混合再ランク戦略により、ベースライン単体に依存するよりも、より正確な最終予測が得られた。