[論文レビュー] Distant Supervision Relation Extraction with Intra-Bag and Inter-Bag Attentions

Zhi-Xiu Ye, Zhen-Hua Ling|arXiv (Cornell University)|Mar 30, 2019

Topic Modeling参考文献 19被引用数 12

ひとこと要約

本稿では、遠隔監視におけるノイズに対処するため、二重アテンションメカニズム（相互バッグ内および相互バッグ間）を用いたニューラル関係抽出モデルを提案する。バッグ内の文に対して関係に特化した重みを計算し、類似度に基づいて全バッググループの重みを動的に設定することで、ノイズの多い学習データにもかかわらずより強固な表現を学習し、NYTデータセット上で最先端の手法を上回る精度を達成する。

ABSTRACT

This paper presents a neural relation extraction method to deal with the noisy training data generated by distant supervision. Previous studies mainly focus on sentence-level de-noising by designing neural networks with intra-bag attentions. In this paper, both intra-bag and inter-bag attentions are considered in order to deal with the noise at sentence-level and bag-level respectively. First, relation-aware bag representations are calculated by weighting sentence embeddings using intra-bag attentions. Here, each possible relation is utilized as the query for attention calculation instead of only using the target relation in conventional methods. Furthermore, the representation of a group of bags in the training set which share the same relation label is calculated by weighting bag representations using a similarity-based inter-bag attention module. Finally, a bag group is utilized as a training sample when building our relation extractor. Experimental results on the New York Times dataset demonstrate the effectiveness of our proposed intra-bag and inter-bag attention modules. Our method also achieves better relation extraction accuracy than state-of-the-art methods on this dataset.

研究の動機と目的

• 遠隔監視によって生じるノイズの多い学習データが関係抽出に与える影響を軽減すること。
• 文レベル（バッグ内）およびバッグレベル（バッグ間）のノイズをモデル化することで、モデルのロバスト性を向上させること。
• 従来の手法がアテンションのクエリとして目標関係のみを用いるという制限を克服するため、すべての可能な関係をクエリとして用いること。
• すべての文が誤ってラベル付けされた「ノイズの多いバッグ問題」を緩和するため、個々のバッグではなくバッググループをモデル化すること。
• ニューヨーク・タイムズ（New York Times）データセットにおいて、既存の最先端モデルを上回る関係抽出の精度を達成すること。

提案手法

• 各可能な関係がクエリとして機能する関係に特化したバッグ内アテンションを用い、バッグ内の文に対して関係に応じた重みを計算することで、関係に関連する文に動的に重みを付与する。
• 文埋め込みの重み付き和としてバッグ表現を構築し、ターゲット関係と関連性の高い文に高い重みを割り当てる。
• 同じ関係ラベルを持つ複数のバッグ間でアテンション重みを計算する相互バッグアテンションモジュールを導入し、類似度スコアに基づいてノイズの多いバッグを特定・低減する。
• 同じ関係ラベルを持つバッグのグループを1つの学習サンプル（バッググループ）として扱い、バッグレベルのノイズに対する一般化性能とロバスト性を向上させる。
• PCNN（パス整合性ニューラルネットワーク）アーキテクチャに、提案されたアテンションモジュールを組み合わせ、文からの文脈特徴を抽出する。
• 文レベルおよびバッグレベルのアテンションを統合的な学習フレームワークで活用し、ノイズに強い階層的表現を学習可能にする。

実験結果

リサーチクエスチョン

• RQ1 バッグ内アテンションにおいて、ターゲット関係だけでなくすべての可能な関係をクエリとして用いることで、ターゲット関係のみをクエリとする場合に比べ、バッグ表現の質が向上するか？
• RQ2 個々のバッグではなくバッググループを学習サンプルとして扱うことで、ノイズの多いバッグのモデルパフォーマンスへの影響が軽減されるか？
• RQ3 類似度に基づく相互バッグアテンションが、訓練データ内のノイズの多いバッグを効果的に特定・低減できるか？
• RQ4 提案された二重アテンション機構は、NYTデータセットにおいて既存の最先端モデルに比べて、どの程度関係抽出の精度を向上させるか？
• RQ5 文の数が異なるバッグにおけるアテンション重みの分布はどのようになるか？また、これはラベル品質と相関するか？

主な発見

• 提案手法は、1文、2文、または1つのエンティティペアあたりすべての文を含むテストセットにおいて、Linら（2016）およびLiuら（2017）の先行モデルを上回るP@Nスコア（P@100、P@200、P@300）を達成した。
• ATT_RAモデル（関係に特化したバッグ内アテンション）は、1文しか利用できない状況でもATT_BL（ベースライン）を上回った。これは、学習段階で関係に特化したアテンションが有効であることを示している。
• 相互バッグアテンション重みは、文の数が少ないバッグで低くなった。これは、このようなバッグがノイズを含む可能性が高く、モデルが効果的にそれらを低減したことを裏付けている。
• 事例研究では、ターゲット関係を表現しない文を含むノイズの多いバッグの重みが顕著に低下しており、効果的なノイズフィルタリングが行われたことが示された。
• PCNN+ATT_RA+BAG_ATTモデルは、NYTデータセットで最先端のパフォーマンスを達成し、バッグ内およびバッグ間アテンションの組み合わせの有効性を確認した。
• モデルのパフォーマンスは、さまざまなテスト設定において一貫しており、学習データの構成の変化に対してもロバストであることが示された。