[論文レビュー] Efficient long-distance relation extraction with DG-SpanBERT

Jun Chen, Robert Hoehndorf+2 more|arXiv (Cornell University)|Apr 7, 2020

Topic Modeling参考文献 23被引用数 9

ひとこと要約

本稿では、関係抽出のための新規モデルDG-SpanBERTを提案する。このモデルは、SpanBERTの文脈依存埋め込みと、依存木上で動作するグラフ畳み込みネットワーク（GCN）を組み合わせ、長距離の句構造的依存関係を捉える。SpanBERTのスパンレベル事前学習と、依存構造上のGCNベースの特徴伝達を活用することで、TACREDベンチマークで71.5%という最先端のF1スコアを達成し、特に長距離関係において、シーケンスベースおよび依存関係ベースのモデルを著しく上回る性能を発揮する。

ABSTRACT

In natural language processing, relation extraction seeks to rationally understand unstructured text. Here, we propose a novel SpanBERT-based graph convolutional network (DG-SpanBERT) that extracts semantic features from a raw sentence using the pre-trained language model SpanBERT and a graph convolutional network to pool latent features. Our DG-SpanBERT model inherits the advantage of SpanBERT on learning rich lexical features from large-scale corpus. It also has the ability to capture long-range relations between entities due to the usage of GCN on dependency tree. The experimental results show that our model outperforms other existing dependency-based and sequence-based models and achieves a state-of-the-art performance on the TACRED dataset.

研究の動機と目的

• 関係抽出における遠く離れたエンティティ間の長距離句構造的依存関係を捉える能力に欠けるBERTベースのモデルの限界を解消すること。
• 依存木からの構造的情報を事前学習済み言語モデルに統合することで、関係抽出の性能を向上させること。
• エンティティおよび関係モデリングの向上を図るため、SpanBERTの優れたスパンレベル表現学習を活用すること。
• 文脈埋め込みとグラフベースのメッセージパッシングを統合した、統一されたアーキテクチャを構築すること。
• 特に長距離関係インスタンスにおいて、TACREDデータセットで最先端の性能を達成すること。

提案手法

• モデルは、スパンマスキングとスパン境界目的関数を活用することで、より良い意味理解を得られるように、入力文から文脈依存トークン表現をSpanBERTで生成する。
• 入力文から依存木が構築され、その隣接行列がGCNの入力として用いられ、句構造的構造に沿って特徴を伝達・集約する。
• GCNは、SpanBERTの隠れ状態に対して、依存木上でグラフ畳み込みを実行し、句構造的経路に沿ったメッセージパッシングによって表現を精緻化する。
• 文レベル、主語エンティティ、目的語エンティティの表現は、GCN処理済み特徴に対するアーギュメント最大プーリングによって得られる。
• 最終的な表現は、元のSpanBERT文の埋め込みと、GCNで強化された特徴表現を連結し、全結合ネットワークを経由することで得られる。
• 最終的な分類器はソフトマックス出力を持つもので、交差エントロピー損失を用いてエンドツーエンドで学習される。

実験結果

リサーチクエスチョン

• RQ1 SpanBERTとグラフ畳み込みネットワーク（GCN）を組み合わせることで、長距離依存関係における関係抽出性能が向上するか？
• RQ2 エンティティ間の距離が異なる状況において、DG-SpanBERTはシーケンスベースおよび依存関係ベースのモデルと比較して、どのように句構造的関係を捉えているか？
• RQ3 SpanBERTのスパンレベル事前学習と依存木構造の統合は、標準のBERTや単体のSpanBERTよりも優れた性能をもたらすか？
• RQ4 主語と目的語が11トークン以上離れている場合、モデルはベースラインをどの程度上回るか？特に長距離関係において。
• RQ5 依存木上でGCNベースのメッセージパッシングが、関係分類のための意味的特徴学習を効果的に向上させられるか？

主な発見

• DG-SpanBERTは、TACREDデータセットで71.5%という最先端のF1スコアを達成し、比較されたすべてのシーケンスベースおよび依存関係ベースのモデルを上回る。
• 長距離関係（≥11トークン離れている）において、DG-SpanBERTは平均F1が58.7を記録し、次に優れたモデル（AGGCN）の50.4を8.3ポイントも上回る。
• 距離が8トークン以上離れている関係において、DG-SpanBERTはすべてのベースラインを著しく上回り、長距離依存関係の捉え具合の優位性が確認された。
• ベースラインのSpanBERT（base）およびSpanBERT（base）モデルと比較して、DG-SpanBERTはF1を最低2.1ポイント以上向上させ、GCN統合の有効性を示した。
• Google BERT（large）に対して0.9 F1ポイント、SpanBERT（large）に対して0.7 F1ポイントの上回り、一般および長距離関係抽出の両面で優位性を確認した。
• アブレーションスタディにより、GCNを介した依存木構造とSpanBERTの統合が、長距離関係性能にとって不可欠であることが確認された。