[論文レビュー] Improving Named Entity Recognition with Attentive Ensemble of Syntactic Information

Yuyang Nie, Yuanhe Tian+3 more|arXiv (Cornell University)|Oct 29, 2020

Topic Modeling参考文献 71被引用数 5

ひとこと要約

この論文では、キー・バリュー記憶ネットワーク、構文注意機構、ゲート機構を用いて構文情報を効果的に統合する注意的アンサンブルにより、性能を向上させるAESINERと呼ばれるニューラルNERモデルを提案する。POSタグ、構文的構成要素、従属関係を的確に符号化・重み付け・統合できる。モデルは、不要な構文的特徴を抑制しながら関連する特徴を動的に強調することで、6つの英語および中国語のベンチマークデータセットで最先端のF1スコアを達成する。

ABSTRACT

Named entity recognition (NER) is highly sensitive to sentential syntactic and semantic properties where entities may be extracted according to how they are used and placed in the running text. To model such properties, one could rely on existing resources to providing helpful knowledge to the NER task; some existing studies proved the effectiveness of doing so, and yet are limited in appropriately leveraging the knowledge such as distinguishing the important ones for particular context. In this paper, we improve NER by leveraging different types of syntactic information through attentive ensemble, which functionalizes by the proposed key-value memory networks, syntax attention, and the gate mechanism for encoding, weighting and aggregating such syntactic information, respectively. Experimental results on six English and Chinese benchmark datasets suggest the effectiveness of the proposed model and show that it outperforms previous studies on all experiment datasets.

研究の動機と目的

• 既存のNERモデルが構文的特徴を固定された正解入力として扱い、その関連性を区別せず、ノイズの影響を受けるという限界を是正すること。
• 文脈に基づいて、複数の種類の構文的情報（品詞、構成要素、従属関係）を知的に符号化・重み付け・統合するメカニズムの開発。
• 文脈に応じた注意機構を用いて、静的および文脈に依存する単語埋め込み（例：ELMo、BERT、ZEN）を統合することでNER性能を向上させること。
• 注意的アンサンブルの有効性を実証し、情報量の多い構文的信号にのみ焦点を当て、ノイズや関係の薄い特徴の影響を最小限に抑えること。

提案手法

• キーバリュー記憶ネットワーク（KVMN）を用いて、各トークンの文脈的特徴とそれに対応する構文的情報を符号化する。
• 構文注意機構は、現在のトークンに対する関連性に基づき、異なる構文的特徴タイプ（品詞、構成要素、従属関係）に動的な重みを計算する。
• ゲート機構により、文脈符号化と構文注意の出力を統合し、文脈に応じた構文的影響の適応を可能にする。
• 静的および文脈に依存する単語埋め込み（例：ELMo、BERT、ZEN）を複数統合し、入力表現を豊かにする。
• 全モデルは、CRFデコードを用いた系列ラベル付けにより、エンドツーエンドで学習される。
• 注意的アンサンブル機構により、高価値の構文的信号にのみ焦点を当て、ノイズや関係の薄い信号の影響を抑制できる。

実験結果

リサーチクエスチョン

• RQ1 注意的アンサンブル機構により、異なる種類の構文的特徴を的確に重み付けすることで、NER性能を向上させることができるか？
• RQ2 品詞、構成要素、従属関係といった複数の構文的特徴を統合することで、単純な連結処理と比較してNERの正確性がどのように向上するか？
• RQ3 文脈に依存する単語埋め込みが、構文的に注意を向けるNERモデルの性能をどの程度向上させるか？
• RQ4 提案されたゲート機構は、文脈に応じて文脈と構文的信号のバランスを的確に調整できるか？

主な発見

• 提案されたAESINERモデルは、全6つのベンチマークデータセット（英語3つ：CoNLL-2003、OntoNotes、ACE05；中国語3つ：MSRA、CCKS、OntoNotes-Chinese）で最先端の性能を達成した。
• CoNLL-2003データセットでは、F1スコア98.65%を達成し、以前の最先端モデルを上回った。
• ELMo、BERT、ZENの3つの埋め込みタイプをすべて使用したモデルが最高の性能を示し、埋め込みタイプを追加するごとにF1スコアが一貫して向上した。
• 「Mason was one of the drafters of the Bill of Rights」における「Bill」の事例スタディでは、構文注意機構が誤った品詞や従属関係の信号を無視し、「constituents」（「LAW」としての意味を示す）を正しく強調した。その結果、正しくラベル付けされた。
• 構文的特徴がより情報量が多い場合には、ゲート機構がそれらに高い重みを割り当てており、文脈に応じた構文的影響の適応が実証された。