[論文レビュー] Fine-tune Bert for DocRED with Two-step Process

Hong Wang, Christfried Focke+3 more|arXiv (Cornell University)|Sep 26, 2019

Topic Modeling参考文献 18被引用数 116

ひとこと要約

論文は、DocRED で BERT を二段階学習プロセス（関係の存在を先に、次に特定の関係）でファインチューニングすることにより、文書レベルの関係抽出をベースラインより改善することを示している。

ABSTRACT

Modelling relations between multiple entities has attracted increasing attention recently, and a new dataset called DocRED has been collected in order to accelerate the research on the document-level relation extraction. Current baselines for this task uses BiLSTM to encode the whole document and are trained from scratch. We argue that such simple baselines are not strong enough to model to complex interaction between entities. In this paper, we further apply a pre-trained language model (BERT) to provide a stronger baseline for this task. We also find that solving this task in phases can further improve the performance. The first step is to predict whether or not two entities have a relation, the second step is to predict the specific relation.

研究の動機と目的

• 文レベルモデルを超えるより良い文書レベルの関係抽出を動機付ける。
• DocRED に対する事前学習済み言語モデル（BERT）の活用の利点を示す。
• DocRED のラベルの不均衡に対処するための二段階学習アプローチを提案する。
• DocRED データセットの既存の基線と比較してこのアプローチを評価する。

提案手法

• BERT-base で文書をエンコードしてトークン埋め込みとエンティティ埋め込みを取得する。
• 予測関係のために投影された BERT 埋め込み上の BiLinear 層を介してエンティティペアを表現する。
• (1) バランスのとれたサンプリングで二値の関係存在性（関係 vs. N/A）を訓練する; (2) 関連ペアのみを用いた多クラスの関係予測を訓練する。
• BiLinear 分類器の前に BERT 出力を 128 次元空間へ射影する。
• 訓練には注釈付き DocRED データを使用する; ステップ1 では 1/0 のラベルで 3:1 のネガティブ対ポジティブのサンプリングを行う; ステップ2 では関係のあるインスタンスのみを訓練する。

実験結果

リサーチクエスチョン

• RQ1 CNN/LSTM の基線と比較して DocRED で BERT は文書レベルの関係抽出を改善するか？
• RQ2 二段階学習プロセスはラベルの不均衡を緩和し、文書レベルの RE の性能を向上させるか？
• RQ3 エンティティ間相互作用のモデリング手法は DocRED の性能にどの程度影響するか？

主な発見

• BERT は DocRED（dev および test）で基線より約 2% の F1 改善を示す。
• 二段階学習は BERT 単独を超える性能をさらに向上させる（BERT-Two-Step）；第2ステップの精度は約 90% である。
• BiLSTM ベースのエンコーダーと局所的な相互作用モデルは DocRED で BERT ベースのモデルと比べて性能が劣る。
• ボトルネックは最初のステップ（関係が存在するかを予測すること）であり、特定の関係を識別することではない。
• 文を文ごとにエンコードする SentModel は BiLSTM と同等の性能であり、現在のモデルが文をまたぐ相互作用を捉えるのに苦労していることを示唆する。