[論文レビュー] Improving Distantly Supervised Relation Extraction using Word and Entity Based Attention

Sharmistha Jat, Siddhesh Khandelwal+1 more|arXiv (Cornell University)|Apr 19, 2018

Topic Modeling参考文献 15被引用数 94

ひとこと要約

本論文は、遠隔監督付き関係抽出のための単語ベースおよびエンティティベースの注意機構（BGWAとEA）を提案し、ノイズを低減したテストデータを含む新しいGDSデータセットを導入し、BGWA、EA、PCNNのアンサンブルがベースラインを上回る精度を示す。

ABSTRACT

Relation extraction is the problem of classifying the relationship between two entities in a given sentence. Distant Supervision (DS) is a popular technique for developing relation extractors starting with limited supervision. We note that most of the sentences in the distant supervision relation extraction setting are very long and may benefit from word attention for better sentence representation. Our contributions in this paper are threefold. Firstly, we propose two novel word attention models for distantly- supervised relation extraction: (1) a Bi-directional Gated Recurrent Unit (Bi-GRU) based word attention model (BGWA), (2) an entity-centric attention model (EA), and (3) a combination model which combines multiple complementary models using weighted voting method for improved relation extraction. Secondly, we introduce GDS, a new distant supervision dataset for relation extraction. GDS removes test data noise present in all previous distant- supervision benchmark datasets, making credible automatic evaluation possible. Thirdly, through extensive experiments on multiple real-world datasets, we demonstrate the effectiveness of the proposed methods.

研究の動機と目的

• 注意を通じて関連文脈に焦点を当てることで、遠隔監督下の関係抽出の改善を動機付ける。
• 有益な語とエンティティ関連の手がかりをよりよく捉えるため、2つの新規注意ベースモデル（BGWAとEA）を開発する。
• テストセットのノイズを除去して信頼できる自動評価を可能にする、クリーンで信頼性のある評価データセット（GDS）を作成する。
• 異なるデータセットにわたって、モデルのアンサンブルが個別モデルより優れた性能を示すことを実証する。

提案手法

• BGWAの導入：Bi-GRUベースの語注意機構で、ターゲット関係への語レベルの関連性を計算し、ピースワイズ最大プーリングを適用する。
• EAの導入：各エンティティへの関連性で語を重み付けするエンティティ中心の注意機構を用い、エンティティ注意付きプーリングを備えたPCNNを用いる。
• BGWA、EA、およびPCNNを、開発セット上の線形回帰で学習した重みを用いた加重投票アンサンブルで組み合わせる。
• Google Distant Supervision (GDS)を構築。各インスタンスセット内の少なくとも1つの文が割り当てられた関係を表すようにしてテストセットのノイズを低減するよう設計されたデータセット。
• 精度-再現曲線とAUCを用いて2つのデータセット（Riedel2010-bとGDS）でモデルを評価し、モデル選択を行う。

実験結果

リサーチクエスチョン

• RQ1 語レベルの注意機構（BGWA）は、有益なフレーズをハイライトすることで、遠隔監督付きの関係抽出を改善できるか？
• RQ2 エンティティ中心の注意機構（EA）は、エンティティ関連の文脈に焦点を当てることで関係抽出を改善できるか？
• RQ3 複数の補完的なモデルを加重アンサンブルで組み合わせると、遠隔監督REの個別モデルより優れた性能を発揮するか？
• RQ4 クリーン化されたGDSデータセットは、遠隔監督REの自動評価をより信頼性の高いものにするか？
• RQ5 ノイズやリレーションセットサイズの異なるデータセットにおけるBGWAとEAの相対的な性能はどうなるか？

主な発見

• BGWAとEAは、両データセットにおいて、再現率の範囲にわたって最先端のベースラインより高いまたは競争力のある精度を達成する。
• BGWA、EA、PCNNのアンサンブルは、個別モデルよりさらに精度を向上させる（Riedel2010-bデータセットでは再現率範囲全体で2–3%程度の顕著な向上）。
• BGWAはRiedel2010-bでより良い傾向、EAはGDSでより良い傾向を示し、相補的な強みを示す。
• 注意機構は、ターゲット関係に一致する重要な語やエンティティ関連の手がかりを特定するのに役立つ。注意の可視化によって例示される。
• GDSは、各インスタンスセットに割り当てられた関係を表す少なくとも1文を含むようにすることで自動評価の信頼性を提供し、テストセットのノイズを緩和する。