[論文レビュー] Simple BERT Models for Relation Extraction and Semantic Role Labeling

Peng Shi, Jimmy Lin|arXiv (Cornell University)|Apr 10, 2019

Natural Language Processing Techniques参考文献 23被引用数 194

ひとこと要約

この論文は、外部のレキシカルまたは統語特徴を用いずに、関係抽出と意味役割付与（SRL）用の単純な BERT ベースのアーキテクチャを示している。

ABSTRACT

We present simple BERT-based models for relation extraction and semantic role labeling. In recent years, state-of-the-art performance has been achieved using neural models by incorporating lexical and syntactic features such as part-of-speech tags and dependency trees. In this paper, extensive experiments on datasets for these two tasks show that without using any external features, a simple BERT-based model can achieve state-of-the-art performance. To our knowledge, we are the first to successfully apply BERT in this manner. Our models provide strong baselines for future research.

研究の動機と目的

• 言語特徴を使わない BERT ベースのモデルが、関係抽出と SRL で高い性能を達成できることを示す。
• BERT を基盤とした、単純でエンティティ認識と述語認識を取り入れたアーキテクチャを提案する。
• 標準ベンチマークで評価し、今後の研究の競争力あるベースラインを確立する。

提案手法

• BERT で文をエンコードし、エンティティの言及をマスクに置換して、関係抽出のエンティティ対応入力を作成する。
• 主語/目的語の位置エンベディングと BERT の文脈埋め込みを結合し、関係予測のために BiLSTM と MLP を通過させる。
• SRL のために、述語指示子エンベディングを BERT 表現に付加し、引数ラベリングのために BiLSTM と MLP を用いる。
• 述語対応入力シーケンスと BIO tagging を用いて、スパンベースと依存ベースの SRL を単一のフレームワーク内に統合する。
• 標準データセット（RE: TACRED、SRL: CoNLL 2005/2012, 2009）を用いて評価し、最先端モデルと比較する。

実験結果

リサーチクエスチョン

• RQ1 外部の言語特徴を使わずに、BERT ベースのモデルは関係抽出で最先端の性能を達成できるか？
• RQ2 BERT の上に構築された単純なアーキテクチャは、スパンベースと依存ベースの両方の形式で意味役割付与を効果的に処理できるか？
• RQ3 エンティティ/述語のマスキングとインジケータエンベディングは、タスクの性能にどのように影響するか？

主な発見

Model	P	R	F1
Zhang et al. 2017	65.7	64.5	65.1
Zhang et al. 2018	69.9	63.33	66.4
Wu et al. 2019	-	-	67.0
Alt et al. 2019	70.1	65.0	67.4
BERT-LSTM-base	73.3	63.10	67.8
Zhang et al. 2018 (ensemble)	71.3	65.4	68.2

• TACRED では、単純なアーキテクチャを持つ BERT ベースのモデルが、特徴量豊富なベースラインのいくつかを上回る。
• BERT-LSTM-base は、以前の単一モデル手法と比較して、TACRED テストで 73.3 P、63.10 R、67.8 F1 を達成。
• BERT-LSTM-large およびその派生は SRL タスクで強力な結果を達成し、言語特徴なしで既存のベースラインを上回ることが多い。
• SRL 依存ベースの結果では、BERT-LSTM-large がエンドツーエンド評価で従来の最先端手法より顕著な F1 増分を示す。