[論文レビュー] Hybrid Attention-Based Transformer Block Model for Distant Supervision Relation Extraction

Yan Xiao, Yaochu Jin+2 more|arXiv (Cornell University)|Mar 10, 2020

Topic Modeling参考文献 42被引用数 6

ひとこと要約

本稿では、知識ベースを用いた自動ラベリングにおける誤った仮定に起因するノイズの多いラベル問題を解決するため、遠隔監視関係抽出（DSRE）のためのハイブリッドアテンションベースのトランスフォーマーブロックモデルを提案する。単語レベルの特徴抽出にマルチヘッド自己アテンションを組み合わせ、バッグ表現の集約に文レベルのアテンション機構を用いることで、NYTデータセットにおける関係分類の正確性が向上し、最先端の手法を上回る性能を発揮する。

ABSTRACT

With an exponential explosive growth of various digital text information, it is challenging to efficiently obtain specific knowledge from massive unstructured text information. As one basic task for natural language processing (NLP), relation extraction aims to extract the semantic relation between entity pairs based on the given text. To avoid manual labeling of datasets, distant supervision relation extraction (DSRE) has been widely used, aiming to utilize knowledge base to automatically annotate datasets. Unfortunately, this method heavily suffers from wrong labelling due to the underlying strong assumptions. To address this issue, we propose a new framework using hybrid attention-based Transformer block with multi-instance learning to perform the DSRE task. More specifically, the Transformer block is firstly used as the sentence encoder to capture syntactic information of sentences, which mainly utilizes multi-head self-attention to extract features from word level. Then, a more concise sentence-level attention mechanism is adopted to constitute the bag representation, aiming to incorporate valid information of each sentence to effectively represent the bag. Experimental results on the public dataset New York Times (NYT) demonstrate that the proposed approach can outperform the state-of-the-art algorithms on the evaluation dataset, which verifies the effectiveness of our model for the DSRE task.

研究の動機と目的

• 知識ベースを用いた自動ラベリングに起因する誤った仮定に起因する、遠隔監視関係抽出（DSRE）におけるノイズの多いラベル問題を解決すること。
• 新しいトランスフォーマーに基づくアーキテクチャを用いて、深層文脈表現を活用することで、関係抽出のパフォーマンスを向上させること。
• マルチインスタンス学習とアテンション機構を統合することで、文のバッグをよりよく表現し、モデルの一般化能力を向上させること。
• 公開済みのニューヨーク・タイムズ（NYT）データセットにおいて、関係抽出の分野で最先端のパフォーマンスを達成すること。

提案手法

• 単語レベルでの構文的・意味的特徴を捉えるために、マルチヘッド自己アテンションを用いたトランスフォーマーブロックを文エンコーダーとして利用する。
• 個々の文表現をコンパクトなバッグレベル表現に集約するために、文レベルのアテンション機構を適用する。
• 複数の文（バッグ）を含む関係をモデル化するためにマルチインスタンス学習を用い、最も情報量の多いインスタンスに注目する。
• 単語レベルのアテンションと文レベルのアテンションをハイブリッドアテンション機構で統合し、特徴学習の強化とノイズ耐性の向上を図る。
• 関係分類のためのクロスエントロピー損失を用いて、NYTデータセット上でモデルをエンドツーエンドで訓練する。
• 事前学習済みの文脈表現（トランスフォーマー構造に起因）を活用することで、表現品質を向上させる。

実験結果

リサーチクエスチョン

• RQ1 単語レベルと文レベルのアテンションを組み合わせたハイブリッドアテンション機構は、遠隔監視下での関係抽出パフォーマンスを向上させることができるか？
• RQ2 提案されたトランスフォーマーに基づくモデルは、NYTデータセットにおいて既存の最先端手法と比較してどのように差をつけるか？
• RQ3 マルチインスタンス学習とアテンション機構を統合することで、DSREにおけるノイズラベルの影響はどの程度軽減されるか？
• RQ4 より構造化されたアテンション機構の使用は、多様な関係タイプにわたる一般化能力の向上に寄与するか？

主な発見

• 提案モデルは、既存の最先端手法と比較して、ニューヨーク・タイムズ（NYT）データセットにおいて優れたパフォーマンスを達成した。
• ハイブリッドアテンション機構は、局所的な構文的特徴とグローバルなバッグレベルの意味を効果的に捉えており、関係分類の精度向上に寄与した。
• マルチインスタンス学習と文レベルアテンションの統合により、学習データ内のノイズの多いインスタンスの影響が軽減された。
• 予測時に各バッグ内での最も関連性の高い文に注目することで、モデルはラベルノイズに対して高い耐性を示した。