[論文レビュー] Hierarchical Contextualized Representation for Named Entity Recognition

Ying Luo, Fengshun Xiao+1 more|arXiv (Cornell University)|Nov 6, 2019

Topic Modeling参考文献 39被引用数 13

ひとこと要約

この論文は、文レベルおよびドキュメントレベルの表現を統合することで、BiLSTMベースのシステムの性能を向上させる階層的文脈表現モデルを提案する。文の単語寄与度をラベル埋め込み注意によって重み付けし、訓練インスタンスからドキュメントに配慮した表現を取得するキーバリューメモリネットワークを用いる。CoNLL-2003（BERTを除く91.96）、OntoNotes 5.0（87.98）、CoNLL-2002（87.08）で最先端のF1スコアを達成した。

ABSTRACT

Named entity recognition (NER) models are typically based on the architecture of Bi-directional LSTM (BiLSTM). The constraints of sequential nature and the modeling of single input prevent the full utilization of global information from larger scope, not only in the entire sentence, but also in the entire document (dataset). In this paper, we address these two deficiencies and propose a model augmented with hierarchical contextualized representation: sentence-level representation and document-level representation. In sentence-level, we take different contributions of words in a single sentence into consideration to enhance the sentence representation learned from an independent BiLSTM via label embedding attention mechanism. In document-level, the key-value memory network is adopted to record the document-aware information for each unique word which is sensitive to similarity of context information. Our two-level hierarchical contextualized representations are fused with each input token embedding and corresponding hidden state of BiLSTM, respectively. The experimental results on three benchmark NER datasets (CoNLL-2003 and Ontonotes 5.0 English datasets, CoNLL-2002 Spanish dataset) show that we establish new state-of-the-art results.

研究の動機と目的

• NERにおけるBiLSTMのグローバルな文およびドキュメントレベルの文脈を捉える能力の制限を解決する。
• 文脈表現を活用することで、語彙内（in-vocabulary）、語彙外（out-of-vocabulary）、希少名前エンティティの性能を向上させる。
• メモリネットワークを介して訓練インスタンス情報を推論に直接組み込むことで、モデルの一般化性能を向上させる。
• ラベル固有の埋め込みに基づいて文内の単語の重要性を重み付ける方法を開発し、文レベル表現を改善する。
• 事前学習言語モデルに依存せずに、データセット全体の文脈的利益を得られるようにする。

提案手法

• 単語埋め込みと学習済みラベル埋め込みの類似度を計算するラベル埋め込み注意機構を導入し、文レベル表現における単語寄与度に重みを付ける。
• 訓練インスタンスからドキュメントレベル表現を格納・取得するキーバリューメモリネットワークを構築し、類似度関数としてコサイン類似度を用いる。
• CRFデコーダーの前段階で、文レベル表現と入力トークン埋め込みを融合し、ドキュメントレベル表現とBiLSTM隠れ状態を融合する。
• 平均プーリングと注目ベースプーリングの有効性を比較するため、異なる文レベル表現手法を評価する。
• 頻出語に対してノイズとカバレッジのバランスを取るために、1つの語に最大T個のインスタンスを選択する動的メモリ照合メカニズムを実装する。
• 実験の公平な比較を保つために、モデルアーキテクチャ（IntNet、CRF、順序ラベル付け層）を一貫して維持する。

実験結果

リサーチクエスチョン

• RQ1 ラベル意味の整合性に基づいて単語寄与度を重み付ける文レベル文脈表現を組み込むことで、NER性能が向上するか？
• RQ2 訓練インスタンスから導出されるドキュメントレベル表現は、特に希少または語彙外名前エンティティにおいて推論性能を向上させるか？
• RQ3 文レベルおよびドキュメントレベル表現の統合は、ベースラインのBiLSTM-CRFモデルと比較して、全体のNER性能にどのように影響するか？
• RQ4 メモリネットワークで関連するドキュメントレベル表現を取得する際の最適な適合関数（例：コサイン類似度、ドット積、スケーリングドット積）は何か？
• RQ5 メモリサブセットのサイズ（T）は、モデル性能と推論効率にどのように影響するか？

主な発見

• 提案モデルは、外部知識を除いたCoNLL-2003データセットで91.96のF1スコアを達成し、新たな最先端性能を記録した。
• OntoNotes 5.0では、外部知識を除いたF1スコアが87.98に達し、多様なドメインにわたる強力な一般化性能を示した。
• CoNLL-2002ではF1スコアが87.08に達し、多言語および低リソースNER設定でも有効であることを確認した。
• ラベル埋め込み注意機構により、平均プーリングと比較してF1スコアが0.25ポイント向上し、コサイン類似度がドット積およびスケーリングドット積を上回った。
• 語彙内エンティティ（IV）ではF1が0.39ポイント向上、訓練語彙外（OOTV）では0.44ポイント、両語彙外（OOBV）では0.43ポイント向上し、語彙外課題に対する強い耐性を示した。
• 追加のメモリと計算を組み込んでも、ベースラインと比較して学習時間がたった19％増加にとどまり、メモリサイズに比例した効率的なスケーラビリティを示した。