[論文レビュー] Improving Distantly-Supervised Relation Extraction through BERT-based Label & Instance Embeddings

Despina Christou, Grigorios Tsoumakas|arXiv (Cornell University)|Feb 1, 2021

Topic Modeling参考文献 27被引用数 4

ひとこと要約

REDSandT は、エンティティペアとそのタイプを結ぶ部分木に注目した構造的入力を通じて、インスタンスおよびラベル埋め込みを学習することで、遠隔教師あり関係抽出（DS-RE）を改善する BERT ベースの関係抽出モデルである。この RE 専用の入力で BERT を微調整し、関係埋め込みをインスタンス上でのアテンションとして用いることで、NYT-10 で 0.424 の最先端の AUC を達成し、長尾関係をより高い信頼性で検出する点で、先行手法を上回っている。

ABSTRACT

Distantly-supervised relation extraction (RE) is an effective method to scale RE to large corpora but suffers from noisy labels. Existing approaches try to alleviate noise through multi-instance learning and by providing additional information, but manage to recognize mainly the top frequent relations, neglecting those in the long-tail. We propose REDSandT (Relation Extraction with Distant Supervision and Transformers), a novel distantly-supervised transformer-based RE method, that manages to capture a wider set of relations through highly informative instance and label embeddings for RE, by exploiting BERT's pre-trained model, and the relationship between labels and entities, respectively. We guide REDSandT to focus solely on relational tokens by fine-tuning BERT on a structured input, including the sub-tree connecting an entity pair and the entities' types. Using the extracted informative vectors, we shape label embeddings, which we also use as attention mechanism over instances to further reduce noise. Finally, we represent sentences by concatenating relation and instance embeddings. Experiments in the NYT-10 dataset show that REDSandT captures a broader set of relations with higher confidence, achieving state-of-the-art AUC (0.424).

研究の動機と目的

• 遠隔教師あり関係抽出（DS-RE）におけるノイズの多いラベル、特に低頻度の長尾関係に対する課題に対処すること。
• 構造的で RE 専用の入力フォーマットを用いることで、BERT の事前学習済み知識を活用し、モデル性能を向上させること。
• 部分木解析（STP）とエンティティタイプ情報による関係的トークンへの注目を通じて、ノイズを低減し、表現学習を強化すること。
• 計算複雑性を低く保ちつつ、既存の最先端モデルを上回る効果的で軽量な手法を開発すること。

提案手法

• エンティティペアを結ぶ最短依存部分木（STP）とそのエンティティタイプを含む構造的入力で BERT を微調整し、情報豊富なインスタンス埋め込みを生成する。
• 得られた BERT 編集ベクトルを用いて、TransE モデルによりラベル埋め込みを形成し、関係をエンティティ埋め込みの差分として表現する。
• 学習されたラベル埋め込みを、文表現上の関係別アテンション機構として適用し、情報量の少ないトークンを抑制する。
• 関係埋め込みと重み付きインスタンス埋め込みを連結して、バッグレベル分類用の最終的な文表現を形成する。
• バッグ内のすべての文の予測を重み付き和で集約することで、バッグレベルで関係分類を実行する。
• BERT の構造的変更を最小限に抑え、双方向的文脈理解を維持するように適応する。

実験結果

リサーチクエスチョン

• RQ1 構造的で RE 専用の入力で微調整された BERT ベースのモデルは、遠隔教師あり設定における関係抽出性能を向上させることができるか？
• RQ2 BERT 編集ベクトルから導出されたラベル埋め込みを用いることで、長尾関係の検出にどのような影響を与えるか？
• RQ3 部分木解析（STP）による関係的トークンへの注目が、ノイズ低減とモデル効率向上にどの程度寄与するか？
• RQ4 ラベル埋め込みがインスタンス上での有効なアテンション機構として機能し、表現学習を強化できるか？
• RQ5 提案手法は、NYT-10 などの標準ベンチマークで、AUC や上位 k リコールにおける精度において最先端の性能を達成できるか？

主な発見

• REDSandT は NYT-10 データセットで 0.424 の最先端の AUC を達成し、Vashishth et al. (2018) や Alt et al. (2019) よりそれぞれ 1.0 および 0.2 ポints 違う。
• Alt et al. (2019) よりもトップ100、200、300 の予測における精度が 7–10% 向上しており、高リコール域での優れた性能を示している。
• REDSandT は、情報豊富なラベルおよびインスタンス埋め込みを学習できるため、従来のモデルが見逃しがちな長尾関係を効果的に検出している。
• STP エンコーディングにより文法的構造情報が保持され、関係的コンテンツに注目できるようになり、計算コストを低く抑えつつ表現品質が向上した。
• BERT のベクトル空間から導出したラベル埋め込みをアテンション機構として用いることで、文内のノイズが多く非関係的トークンの影響が著しく低減された。
• エンティティタイプと STP を含む構造的入力で BERT を微調整することで、より強固で情報豊富な文表現が得られ、全体の分類性能が向上した。