[論文レビュー] Dependency-Aware Named Entity Recognition with Relative and Global Attentions

Gustavo Aguilar, Thamar Solorio|arXiv (Cornell University)|Sep 11, 2019

Topic Modeling参考文献 34被引用数 10

ひとこと要約

この論文では、依存木の構文的関係を捉えるために、Tree-LSTMに相対的およびグローバルなアテンション機構を統合した依存関係に配慮した名前付きエンティティ認識モデルを提案する。これにより、長距離依存関係の処理が向上し、OntoNotes 5.0 (BN) および SemEval 2010 データセットで新たなSOTAを達成した。モデルは、動詞のように動作や場所を示す語（文法的役割に基づいてエンティティタイプを示す）に注目する能力を学習することで、性能を向上させた。

ABSTRACT

Named entity recognition is one of the core tasks in NLP. Although many improvements have been made on this task during the last years, the state-of-the-art systems do not explicitly take into account the recursive nature of language. Instead of only treating the text as a plain sequence of words, we incorporate a linguistically-inspired way to recognize entities based on syntax and tree structures. Our model exploits syntactic relationships among words using a Tree-LSTM guided by dependency trees. Then, we enhance these features by applying relative and global attention mechanisms. On the one hand, the relative attention detects the most informative words in the sentence with respect to the word being evaluated. On the other hand, the global attention spots the most relevant words in the sequence. Lastly, we linearly project the weighted vectors into the tagging space so that a conditional random field classifier predicts the entity labels. Our findings show that the model detects words that disclose the entity types based on their syntactic roles in a sentence (e.g., verbs such as speak and write are attended when the entity type is PERSON, whereas meet and travel strongly relate to LOCATION). We confirm our findings and establish a new state of the art on two datasets.

研究の動機と目的

• 従来のNERモデルがテキストを線形的なシーケンスとして扱い、再帰的な構文的構造を無視するという限界を是正すること。
• 構文的依存関係が正確なエンティティラベル付けに不可欠な長文や複雑な文において、性能を向上させること。
• アテンション機構が、エンティティタイプを示す構文的に有用な語（例：動作や場所を示す動詞）を効果的に特定できるかを検証すること。
• 構文的構造とディープな文脈表現を統合することで、NER分野における新たなSOTAを確立すること。
• 実験と発見の完全な再現性を確保するため、コードと分析を公開すること。

提案手法

• モデルは依存木に従って構文的構造を符号化するため、Tree-LSTMアーキテクチャを用い、語の間の再帰的関係を捉える。
• 相対的アテンションを適用して、各ターゲット語の文脈において最も情報量の多い語を、構文的および意味的関連性に基づき特定する。
• グローバルアテンションを用いて、文全体において最も顕著な語を強調し、局所的およびグローバルな文脈のバランスを取る。
• Tree-LSTMとBiLSTMの隠れ表現を連結し、CRFデコードの前にタグ空間に投影する。
• 最終的なエンティティラベルは、投影された表現に対して条件付きランダムフィールド（CRF）層を用いて予測する。
• モデルはクロスエントロピー損失を用いてエンドツーエンドで学習され、標準的なNERベンチマークで評価される。

実験結果

リサーチクエスチョン

• RQ1 NERに依存木構造を統合することで、長文や複雑な文における性能向上が図れるか？
• RQ2 相対的およびグローバルアテンション機構は、エンティティタイプを示す構文的に有用な語をモデルが特定するのを支援するか？
• RQ3 依存解析の品質が、モデルの性能と頑健性に与える影響は何か？
• RQ4 モデルは、エンティティタイプとその文法的役割（例：動詞が主語や目的語として機能する場合）との意味的な相関関係を学習できるか？
• RQ5 構文的および意味的特徴の統合が、NER分野における新たなSOTAを達成できるか？

主な発見

• OntoNotes 5.0 ブロードキャストニュース部門では、F1スコア89.22を達成し、新たなSOTAを樹立した。
• SemEval 2010 データセットでは、F1スコア86.49を達成し、新たなSOTAを確立した。
• 依存木が自動的に生成された場合、SemEval 2010でF1スコアが3.31ポイント低下し、解析品質に強く依存していることが示された。
• PERSONエンティティを特定する際、モデルは「話す」「書く」「死ぬ」などの動詞に注目する傾向を示した。
• LOCATIONエンティティを特定する際には、「移動する」「会う」「題名を付ける」などの動詞に注目した。
• 「大統領」「幹部」「補佐官」などの語は、PERSONエンティティの認識において頻繁に注目された。これは役割に基づく手がかりを認識していることを示している。
• 誤差解析の結果、自動解析によるマルチルート依存木が、特に音声変換を含むデータセットでは性能を著しく低下させた。