[論文レビュー] Self-Attention Enhanced Selective Gate with Entity-Aware Embedding for Distantly Supervised Relation Extraction

Yang Li, Guodong Long+5 more|arXiv (Cornell University)|Nov 27, 2019

Topic Modeling参考文献 26被引用数 7

ひとこと要約

本稿では、関係抽出の弱教師付き学習におけるノイズの多いラベルの問題に取り組む新規な軽量ニューラルフレームワーク、選択的ゲート（SeG）を提案する。SeGはエンティティに配慮した単語埋め込みを強化し、部分的CNNと自己注意機構を統合して長距離依存関係を捉える。選択的注意をポーリング搭載ゲート機構に置き換えることで、NYTデータセット上で最先端の性能を達成し、特に1文のみを含むバッグにおいて、従来の手法が注意モジュールの不適切な学習により失敗する状況でも優れた性能を発揮する。

ABSTRACT

Distantly supervised relation extraction intrinsically suffers from noisy labels due to the strong assumption of distant supervision. Most prior works adopt a selective attention mechanism over sentences in a bag to denoise from wrongly labeled data, which however could be incompetent when there is only one sentence in a bag. In this paper, we propose a brand-new light-weight neural framework to address the distantly supervised relation extraction problem and alleviate the defects in previous selective attention framework. Specifically, in the proposed framework, 1) we use an entity-aware word embedding method to integrate both relative position information and head/tail entity embeddings, aiming to highlight the essence of entities for this task; 2) we develop a self-attention mechanism to capture the rich contextual dependencies as a complement for local dependencies captured by piecewise CNN; and 3) instead of using selective attention, we design a pooling-equipped gate, which is based on rich contextual representations, as an aggregator to generate bag-level representation for final relation classification. Compared to selective attention, one major advantage of the proposed gating mechanism is that, it performs stably and promisingly even if only one sentence appears in a bag and thus keeps the consistency across all training examples. The experiments on NYT dataset demonstrate that our approach achieves a new state-of-the-art performance in terms of both AUC and top-n precision metrics.

研究の動機と目的

• 弱教師付き関係抽出におけるノイズの多いラベルの課題に取り組む。特に、バッグに1文しか含まない場合に注目する。
• 1文バッグにおける選択的注意機構の不安定性を克服する。これは、モデルの学習が不十分になり、性能が低下する原因となる。
• エンティティの識別子と相対的位置情報を符号化するエンティティに配慮した単語埋め込みを統合することで、表現学習を向上させる。
• 部分的CNNと並列に自己注意機構を組み合わせることで文脈モデリングを強化し、より豊かな依存関係の捉え方を実現する。
• すべての学習例、特に1文バッグに対しても安定して動作する、強力な集約メカニズム（SeGゲート）を設計する。

提案手法

• 各単語埋め込みに、頭部エンティティおよび末尾エンティティの表現と相対的位置情報を動的に統合するエンティティに配慮した単語埋め込み手法を提案する。
• 部分的CNNと並列に適用される軽量な自己注意機構を導入し、長距離の文脈的依存関係を捉える。これにより、局所的な畳み込み特徴と補完的となる。
• ポーリングを搭載した選択的ゲート機構を設計し、文レベルの表現をバッグレベルの表現に集約する。従来の手法で使われる注意ベースの集約を置き換える。
• バッグに1文しか含まれない場合でも、ゲート機構により安定したバッグレベル表現を生成し、すべての学習インスタンスで一貫した性能を発揮する。
• 各バッグが共通のエンティティペアを含む文の集合であり、バッグレベルのラベルが知識グラフから導出される、マルチインスタンス学習フレームワークを採用する。
• 自己注意モジュールとPCNNモジュールの出力に対して最大プーリングを適用し、ゲートに供給する。これにより、特徴の強力な集約が可能になる。

実験結果

リサーチクエスチョン

• RQ1 ゲートベースの集約メカニズムは、特に1文バッグにおいて、選択的注意機構を上回る性能を発揮するのか？
• RQ2 エンティティに配慮した埋め込みは、エンティティ固有の情報と位置情報を符号化することで、関係抽出の性能をどの程度向上させるのか？
• RQ3 部分的CNNと組み合わせた自己注意機構は、関係抽出において文脈表現をどの程度向上させるのか？
• RQ4 提案されたSeGフレームワークは、1文バッグにおいても高い性能を維持できるのか？これは、選択的注意が1文バッグでの注意の不安定性により失敗するためである。
• RQ5 各コンポonent（エンティティに配慮した埋め込み、自己注意機構、ゲート機構）が全体のモデル性能に果たす寄与度はどの程度か？

主な発見

• SeGフレームワークはNYTデータセットで新たな最先端性能を達成し、AUCおよびトップn精度という両方の指標で従来手法を上回った。
• 1文バッグのみの評価において、SeGはPCNN+ATTよりもAUCで0.13の向上を達成し、最も一般的で挑戦的とされる状況でも優れたロバスト性を示した。
• アブレーションスタディの結果、自己注意機構やエンティティに配慮した埋め込みコンポーネントを削除すると性能が著しく低下し、それらの重要性が裏付けられた。
• 事例スタディでは、自己注意を強化したゲートが、曖昧または複雑な文脈において正しく分類するために不可欠であることが示された。
• PCNNと自己注意機構をスタックさせたモデル（SeG w/ Stack）は、並列構成よりも性能が劣ることから、並列統合がより効果的であることが示された。
• 誤差分析では、場所関係に関する誤分類が、背景知識の欠如により頻発することが判明した。これにより、今後の外部知識ベースの統合の可能性が示唆された。