[論文レビュー] Two are Better than One: Joint Entity and Relation Extraction with Table-Sequence Encoders

Jue Wang, Wei Lu|arXiv (Cornell University)|Oct 8, 2020

Topic Modeling参考文献 55被引用数 11

ひとこと要約

本論文は、名前付きエンティティ認識（NER）と関係抽出（RE）を同時に実行するための新しいテーブル・シーケンスエンコーダー・アーキテクチャを提案する。この手法は、NER用のシーケンスエンコーダーとRE用のテーブルエンコーダーという2つの異なるエンコーダーを採用しており、それぞれが相互に作用し、タスク固有の表現を学習するように設計されている。本手法はBERTのアテンション重みを活用してテーブル表現学習を強化し、ACE04、ACE05、CoNLL04、ADEの4つのベンチマークデータセットで最先端の性能を達成し、既存の統合モデルを上回っている。

ABSTRACT

Named entity recognition and relation extraction are two important fundamental problems. Joint learning algorithms have been proposed to solve both tasks simultaneously, and many of them cast the joint task as a table-filling problem. However, they typically focused on learning a single encoder (usually learning representation in the form of a table) to capture information required for both tasks within the same space. We argue that it can be beneficial to design two distinct encoders to capture such two different types of information in the learning process. In this work, we propose the novel {\em table-sequence encoders} where two different encoders -- a table encoder and a sequence encoder are designed to help each other in the representation learning process. Our experiments confirm the advantages of having {\em two} encoders over {\em one} encoder. On several standard datasets, our model shows significant improvements over existing approaches.

研究の動機と目的

• 単一の共有エンコーダーを用いる場合に生じる誤差伝搬と特徴の混同を回避するため、各タスクの表現学習を分離すること。
• テーブルをシーケンスに変換する際に失われる2次元テーブル表現の構造的情報を効果的に活用すること。
• BERTのペアワイズ単語相互作用の知識をアテンション重みを通じて活用し、テーブル表現学習を向上させること。
• シーケンスエンコーダーとテーブルエンコーダーの間で相互作用を生じさせるメカニズムを設計し、相互に表現を強化すること。
• 二重エンコーダーが統合NERとREにおいて単一エンコーダーのアプローチを上回ることを実証すること。

提案手法

• NER用のシーケンスエンコーダーとRE用のテーブルエンコーダーを備えた二重エンコーダー・アーキテクチャを提案し、タスク固有の表現学習を可能にする。
• 2次元テーブル構造をモデル化するため、多次元再帰ニューラルネットワーク（MD-RNNs）を用い、行・列・レイヤー間の相互作用を捉える。
• BERTの自己アテンション重みを活用したテーブルガイドド・アテンションを導入し、単語ペア間の相互作用知識をテーブル表現に統合する。
• エンコーディング層間のスキップ接続を採用し、学習の安定化と表現の段階的改善を可能にする。
• クロスエンコーダー相互作用モジュールを設計し、シーケンスエンコーダーとテーブルエンコーダーが互いの隠れ状態に注目することで特徴学習を強化する。
• スタックされたエンコーダーの上に線形予測層を設け、最終的な予測を生成する。また、解釈可能性を高めるために中間状態をプローブする。

実験結果

リサーチクエスチョン

• RQ1 別個のエンコーダーを用いてNERとREの表現を分離して学習することで、単一の共有エンコーダーを用いる場合と比較して性能が向上するか？
• RQ2 2次元テーブル表現に内在する構造的情報を、統合NERとREにどの程度効果的に活用できるか？
• RQ3 BERTのアテンション重みを活用することで、統合抽出におけるテーブル表現学習がどの程度向上するか？
• RQ4 シーケンスエンコーダーとテーブルエンコーダーの間の相互作用が、複雑なエンティティおよび関係パターンのモデリングをどの程度改善するか？
• RQ5 RNNの方向性や次元数といったアーキテクチャ的選択が、MD-RNNベースのテーブルエンコーダーの性能に与える影響はいかほどか？

主な発見

• 提案モデルは、4つの標準データセットで最先端のF1スコアを達成した：ACE04（NER: 89.4, RE: 70.2）、ACE05（NER: 89.3, RE: 67.4）、CoNLL04（NER: 89.3, RE: 66.7）、ADE（NER: 89.3, RE: 67.4）。
• MD-RNNsから任意の次元（レイヤー、行、列）を削除すると性能が低下し、多次元モデリングの重要性が裏付けられた。
• 双方向RNNは単方向RNNを上回り、4方向（すべての次元で双方向）のRNNが最も優れた結果を達成した。
• テーブルガイドド・アテンション機構は、標準のALBERTアテンションヘッドよりも、エンティティのスパンや関係パスといったタスクに特化したパターンをよりよく学習した。
• 中間状態の可視化から、層を介して予測が段階的に改善されていることが示され、深層スタックとスキップ接続による表現の効果的な精錬が確認された。
• 単一エンコーダーを用いる従来の統合モデルと比較して本モデルが優れていることから、分離されたが相互に作用する表現学習の利点が実証された。