[論文レビュー] Entity-Relation Extraction as Multi-Turn Question Answering

Xiaoya Li, Fan Yin+6 more|arXiv (Cornell University)|May 14, 2019

Topic Modeling参考文献 52被引用数 48

ひとこと要約

この論文はエンティティとリレーション抽出をマルチターンの質問応答問題として扱い、QA風のテンプレートとBERTを基盤とするMRCモデルを用いてエンティティとリレーションを共同抽出し、ACE04, ACE05, CoNLL04で新しいSOTAを達成し、階層的推論のためのRESUMEを導入した。

ABSTRACT

In this paper, we propose a new paradigm for the task of entity-relation extraction. We cast the task as a multi-turn question answering problem, i.e., the extraction of entities and relations is transformed to the task of identifying answer spans from the context. This multi-turn QA formalization comes with several key advantages: firstly, the question query encodes important information for the entity/relation class we want to identify; secondly, QA provides a natural way of jointly modeling entity and relation; and thirdly, it allows us to exploit the well developed machine reading comprehension (MRC) models. Experiments on the ACE and the CoNLL04 corpora demonstrate that the proposed paradigm significantly outperforms previous best models. We are able to obtain the state-of-the-art results on all of the ACE04, ACE05 and CoNLL04 datasets, increasing the SOTA results on the three datasets to 49.4 (+1.0), 60.2 (+0.6) and 68.9 (+2.1), respectively. Additionally, we construct a newly developed dataset RESUME in Chinese, which requires multi-step reasoning to construct entity dependencies, as opposed to the single-step dependency extraction in the triplet exaction in previous datasets. The proposed multi-turn QA model also achieves the best performance on the RESUME dataset.

研究の動機と目的

• 階層的依存関係を捉えるために、エンティティ-リレーション抽出の統一的な質問応答形式を動機づける。
• ヘッドエンティティとテールエンティティ/リレーションの段階を持つマルチターンQAパイプラインを提案する。
• BMEOタグ付けを用いたMRCモデル（BERT）を活用して、文脈ごとに複数の回答を抽出する。
• ACE04、ACE05、CoNLL04データセットで最先端の結果を示し、中国語の多回合推論のためのRESUMEを導入する。

提案手法

• エンティティとリレーション抽出をテンプレートに導かれた逐次QAターンとして定式化する。
• エンティティ固有の質問によるヘッドエンティティ抽出と、その後の連鎖したリレーション/テールエンティティの質問という2段階の抽出を用いる。
• 自然言語または疑似質問から質問を生成し、以前に抽出されたエンティティでスロットを埋める。
• BMEO taggingを用いたBERTベースのMRCを採用して、ターンを跨いで回答スパンを予測する。
• 任意で強化学習（REINFORCE）を適用してターンごとの抽出報酬を最適化する。
• 損失関数を L = (1-λ)L_head-entity + λ L_tail-entity+relation の組み合わせで学習する；段階間でパラメータを共有する。

実験結果

リサーチクエスチョン

• RQ1 複雑な構造におけるエンティティとリレーション間の階層的依存関係を、マルチターンQAパラダムで効果的にモデル化できるか？
• RQ2 有益な質問テンプレートの組み込みは、従来のトリプレット手法と比べて遠距離またはマルチホップのリレーションの抽出を改善するか？
• RQ3 マルチターンQAベースのエンティティ-リレーション抽出における強化学習とカリキュラム戦略はどのような利点をもたらすか？
• RQ4 標準ベンチマーク(ACE04, ACE05, CoNLL04)およびより深いマルチターン推論を要する新データセット（RESUME）での性能はどうか？

主な発見

Dataset	Model	Entity P	Entity R	Entity F	Relation P	Relation R	Relation F
ACE04	Li/Ji 2014	83.5	76.2	79.7	60.8	36.1	49.3
ACE04	Miwa & Bansal 2016	80.8	82.9	81.8	48.7	48.1	48.4
ACE04	Katiyar & Cardie 2017	81.2	78.1	79.6	46.4	45.3	45.7
ACE04	Bekoulis et al. 2018	-	-	81.6	-	-	47.5
ACE04	Sun et al. 2018	83.9	83.2	83.6	64.9	55.1	59.6
ACE04	Multi-turn QA	84.7	84.9	84.8	64.8	56.2	60.2 (+1.0)
ACE05	Li/Ji 2014	85.2	76.9	80.8	65.4	39.8	49.5
ACE05	Miwa & Bansal 2016	82.9	83.9	83.4	57.2	54.0	55.6
ACE05	Katiyar & Cardie 2017	84.0	81.3	82.6	55.5	51.8	53.6
ACE05	Zhang 2017	-	-	83.5	-	-	57.5
ACE05	Sun et al. 2018	83.9	83.2	83.6	64.9	55.1	59.6
ACE05	Multi-turn QA	89.0	86.6	87.8	69.2	68.2	68.9 (+1.1)
CoNLL04	Miwa & Sasaki 2014	-	-	80.7	-	-	61.0
CoNLL04	Zhang 2017	-	-	85.6	-	-	67.8
CoNLL04	Bekoulis et al. 2018	-	-	83.6	-	-	62.0
CoNLL04	Multi-turn QA	89.0	86.6	87.8	69.2	68.2	68.9 (+1.1)

• ACE04でSOTAを達成（Entity F1が1.0向上）、ACE05でSOTAを達成（Entity F1が1.2向上）、CoNLL04でSOTAを達成（Relation F1が1.1向上）.
• 階層的なタグ依存関係を捉えるマルチターンQAフレームワークを活用することで、従来の結合モデルおよびパイプラインモデルを上回る。
• 自然言語の質問テンプレートが、疑似質問を上回る。
• 強化学習は追加の性能向上をもたらし、特にターン数が多い場合（例：RESUME）に効果的。
• RESUMEデータセットは、中国語の伝記で4ターン抽出による多段推論の能力を示す。