[論文レビュー] Entity Concept-enhanced Few-shot Relation Extraction

Shan Yang, Yongfei Zhang+3 more|arXiv (Cornell University)|Jun 4, 2021

Topic Modeling参考文献 18被引用数 4

ひとこと要約

本稿では、注釈付きエンティティコンセプトをアテンションおよび統合メカニズムに統合することで関係分類を向上させる、新しい少サンプル関係抽出フレームワーク、ConceptFEREを提案する。エンティティごとに意味的類似度に基づいて最も関連性の高いコンセプトを選択し、自己アテンションを用いて単語レベルで文とコンセプト表現を統合することで、FewRelベンチマーク上で最先端の性能を達成し、5ウェイ1ショット設定下で先行手法を最大4.45%上回った。

ABSTRACT

Few-shot relation extraction (FSRE) is of great importance in long-tail distribution problem, especially in special domain with low-resource data. Most existing FSRE algorithms fail to accurately classify the relations merely based on the information of the sentences together with the recognized entity pairs, due to limited samples and lack of knowledge. To address this problem, in this paper, we proposed a novel entity CONCEPT-enhanced FEw-shot Relation Extraction scheme (ConceptFERE), which introduces the inherent concepts of entities to provide clues for relation prediction and boost the relations classification performance. Firstly, a concept-sentence attention module is developed to select the most appropriate concept from multiple concepts of each entity by calculating the semantic similarity between sentences and concepts. Secondly, a self-attention based fusion module is presented to bridge the gap of concept embedding and sentence embedding from different semantic spaces. Extensive experiments on the FSRE benchmark dataset FewRel have demonstrated the effectiveness and the superiority of the proposed ConceptFERE scheme as compared to the state-of-the-art baselines. Code is available at https://github.com/LittleGuoKe/ConceptFERE.

研究の動機と目的

• ラベル付きデータが乏しい特殊分野における低リソースで長尾の関係抽出の課題に対処すること。
• 外部知識を活用しないで文とエンティティペア情報に依存する既存の少サンプル関係抽出モデルの限界を克服すること。
• 外部知識としての包括的で高水準のエンティティコンセプトを統合することで関係分類を向上させること。
• 文の意味的関連性に基づいて、1つのエンティティに対して複数の候補コンセプトから最も関連性の高いものを選択するメカニズムを設計すること。
• 単語レベルのアテンションベース統合により、文埋め込みとコンセプト埋め込みの間の意味的ギャップを埋めること。

提案手法

• コンセプト文アテンションモジュールは、入力文とエンティティごとの複数の候補コンセプトとの間の意味的類似度を計算し、最も関連性の高いコンセプトを選択する。
• 自己アテンションに基づく統合モジュールは、文と選択されたコンセプト埋め込みの間で単語レベルの意味統合を実行する。
• フレームワークはBERT-PAIRの上に構築されており、少サンプル分類のためのメトリック学習アーキテクチャを活用する。
• コンセプト埋め込みは事前学習されており、ConceptNetとConcept Graphから取得され、抽象的で一般化可能な知識を提供する。
• モデルは、文と選択されたコンセプトの連結をBERTベースのエンコーダーの入力として用い、エンドツーエンドの学習を実行する。
• アブレーションスタディにより、コンセプト選択および統合モジュールの両方が最適なパフォーマンスを達成するために不可欠であることが確認された。

実験結果

リサーチクエスチョン

• RQ1 エンティティコンセプトは、単なる文とエンティティペア情報に加えて、少サンプル関係分類に意味的で判別力のある信号を提供できるか？
• RQ2 1つのエンティティに関連付けられた複数の、場合によっては矛盾するコンセプトを、関係予測タスクに最も関連性の高いものにフィルタリングする方法は何か？
• RQ3 文とコンセプト表現の単語レベル統合は、低リソースの少サンプル状況での一般化性能を向上させるか？
• RQ4 Wikidataのような知識ベースからの長文記述と比較して、要約されたコンセプトを統合することは、少サンプル関係抽出において効果的か？
• RQ5 コンセプトベースの拡張は、純粋なテキストまたはエンティティ記述のみを用いる最先端モデルと比較して、どの程度性能を向上させるか？

主な発見

• ConceptFEREはFewRelベンチマークで5ウェイ1ショット設定下に89.21%の正確度を達成し、以前の最先端手法TD-Protoを4.45ポイント上回った。
• 外部知識を一切使用しない強力なベースラインであるBERT-PAIRよりも、5ウェイ1ショット設定下で6.64ポイントの正確度向上を達成した。
• アブレーションスタディにより、コンセプト文アテンションモジュールおよび統合モジュールの両方が不可欠であることが確認され、いずれかを削除すると正確度が6ポイント以上低下した。
• アテンションおよび統合モジュールを省略した簡略化版のConceptFEREですら、BERT-PAIRを上回る性能を示し、コンセプト統合そのものの価値を示した。
• 性能向上はあらゆる設定で一貫しており、コンセプトベースの知識が低ショット状況での一般化を強化していることを示している。
• 結果から、要約されたコンセプトレベルの知識は、長文記述よりも少サンプル関係抽出においてより効果的で頑健であると示唆された。