[論文レビュー] SEE: Syntax-aware Entity Embedding for Neural Relation Extraction

Zhengqiu He, Wenliang Chen+4 more|arXiv (Cornell University)|Jan 11, 2018

Topic Modeling参考文献 24被引用数 21

ひとこと要約

本稿では、木構造の依存木を用いて構文的文脈を統合するための、構文に配慮したエンティティ埋め込み（SEE）を提案する。SEEは、木構造GRUとアテンション機構を用いてエンティティ表現を強化し、文内および文間のアテンションを統合することで、分散監視のノイズに強く、関係の意味を的確に捉える。ベンチマークデータセット上で最先端の性能を達成した。

ABSTRACT

Distant supervised relation extraction is an efficient approach to scale relation extraction to very large corpora, and has been widely used to find novel relational facts from plain text. Recent studies on neural relation extraction have shown great progress on this task via modeling the sentences in low-dimensional spaces, but seldom considered syntax information to model the entities. In this paper, we propose to learn syntax-aware entity embedding for neural relation extraction. First, we encode the context of entities on a dependency tree as sentence-level entity embedding based on tree-GRU. Then, we utilize both intra-sentence and inter-sentence attentions to obtain sentence set-level entity embedding over all sentences containing the focus entity pair. Finally, we combine both sentence embedding and entity embedding for relation classification. We conduct experiments on a widely used real-world dataset and the experimental results show that our model can make full use of all informative instances and achieve state-of-the-art performance of relation extraction.

研究の動機と目的

• 既存のニューラル関係抽出モデルがエンティティ表現における構文的構造を十分に活用していないという限界を是正すること。
• 依存木からの構文的文脈をエンティティ埋め込みに統合することで、分散監視に起因するノイズを低減すること。
• 文レベルの埋め込みと構文に配慮したエンティティ埋め込みを多段階アテンションで統合し、関係分類を向上させること。
• 文におけるエンティティの構文的役割が、語の順序を超えて関係抽出に意味のある情報を提供することを示すこと。

提案手法

• 依存木上で各エンティティの構文的文脈を木構造GRUを用いて再帰的に符号化し、文レベルのエンティティ埋め込みを生成する。
• 解析木の子ノードに対して文内アテンションを適用し、エンティティ周辺の情報的な構文的部分構造を強調する。
• 同じエンティティペアを含む複数の文に対して文間アテンションを適用し、最も関連性の高い文脈表現を選択する。
• 最終的な関係分類のために、文の埋め込みと構文に配慮したエンティティ埋め込みを統合し、ソフトマックス層を用いる。
• 分散監視に内在するラベルノイズを軽減するために、マルチインスタンス学習を活用する。
• 局所的な構文的構造とグローバルな文レベルの文脈を統合することで、汎化性能とロバスト性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 依存木から導出される構文に配慮したエンティティ埋め込みは、分散監視下でのニューラル関係抽出を改善できるか？
• RQ2 木構造モデルを用いてエンティティの構文的役割を統合することで、関係分類性能にどのような影響を与えるか？
• RQ3 文内および文間のアテンション機構を統合することで、関係抽出におけるエンティティ文脈表現がどの程度向上するか？
• RQ4 エンティティ埋め込みに構文的構造を統合することで、分散監視におけるノイズの影響がどの程度軽減されるか？
• RQ5 提案手法は、実世界の関係抽出ベンチマークで、既存の最先端手法を上回る性能を示せるか？

主な発見

• 提案されたSEEモデルは、ニューラル関係抽出のための広く使われているベンチマークデータセットで、最先端の性能を達成した。
• 誤ったNA（関係なし）予測の確率が顕著に低下した。例えば、ベースラインでは0.735であったが、ケーススタディでははるかに低い値にまで低下した。
• 構文に配慮したエンティティ埋め込みを統合することで、最短依存パスを超えた長距離の構文的依存関係を捉えることができ、より正確な関係分類が可能になった。
• 文内および文間の両方のアテンション機構を用いることで、多様な文構造にわたるモデルのロバスト性と一般化性能が向上した。
• モデルは、アンビギアスまたはノイズの多い学習インスタンスを処理する際、ベースラインおよび既存のSOTA手法と比較して一貫した改善を示した。