[論文レビュー] BERT-GT: Cross-sentence n-ary relation extraction with BERT and Graph Transformer

Po‐Ting Lai, Zhiyong Lu|arXiv (Cornell University)|Jan 11, 2021

Topic Modeling参考文献 14被引用数 7

ひとこと要約

本稿では、生物医学的テキストにおける文間n重関係抽出を向上させるために、隣接トークンに限定した注目メカニズムをBERTに統合した新しいアーキテクチャ、BERT-GTを提案する。長文におけるノイズを低減することで、n重関係および化学物質-タンパク質関係データセットにおいて、最先端手法よりも正解率が5.44%高く、F1スコアが3.89%高い結果を達成した。

ABSTRACT

A biomedical relation statement is commonly expressed in multiple sentences and consists of many concepts, including gene, disease, chemical, and mutation. To automatically extract information from biomedical literature, existing biomedical text-mining approaches typically formulate the problem as a cross-sentence n-ary relation-extraction task that detects relations among n entities across multiple sentences, and use either a graph neural network (GNN) with long short-term memory (LSTM) or an attention mechanism. Recently, Transformer has been shown to outperform LSTM on many natural language processing (NLP) tasks. In this work, we propose a novel architecture that combines Bidirectional Encoder Representations from Transformers with Graph Transformer (BERT-GT), through integrating a neighbor-attention mechanism into the BERT architecture. Unlike the original Transformer architecture, which utilizes the whole sentence(s) to calculate the attention of the current token, the neighbor-attention mechanism in our method calculates its attention utilizing only its neighbor tokens. Thus, each token can pay attention to its neighbor information with little noise. We show that this is critically important when the text is very long, as in cross-sentence or abstract-level relation-extraction tasks. Our benchmarking results show improvements of 5.44% and 3.89% in accuracy and F1-measure over the state-of-the-art on n-ary and chemical-protein relation datasets, suggesting BERT-GT is a robust approach that is applicable to other biomedical relation extraction tasks or datasets.

研究の動機と目的

• 生物医学文献における複数エンティティを含む複雑な文間n重関係を抽出する課題に対処すること。
• 標準の注目メカニズムがノイズに苦しむ長文で構成されたマルチセンテンスな生物医学的テキストにおいて、関係抽出のパフォーマンスを向上させること。
• ノイズを低減した文脈モデリングを可能にするために、BERTに隣接注目メカニズムを統合すること。
• 評価済みデータセットを超えて、さまざまな生物医学的関係抽出タスクに適用可能な堅牢なフレームワークを開発すること。
• GNNにLSTMまたは標準注目メカニズムを用いた既存モデルを上回ること、特に文間関係抽出タスクにおいて

提案手法

• 注目計算を隣接トークンに限定することで、長文におけるノイズを低減するように、BERTアーキテクチャに隣接注目メカニズムを統合する。
• BERTの自己注目メカニズムを変更し、各トークンが入力シーケンス全体ではなく、隣接する直近のトークンにのみ注目するようにする。
• グラフトランスフォーマーのコンponentsを用いて、生物医学的テキストにおける複数文にまたがるエンティティ間の関係的構造をモデル化する。
• 局所的注目を強化することで、BERTの深い文脈表現を活用しつつ、長文における推論を向上させる。
• エンティティに特化した表現学習とグラフベースのメッセージパッシングを組み合わせ、文境界を越えた複雑なn重関係を捉える。
• 標準的なシーケンスラベリングおよび関係分類の目的関数を用いて、生物医学データセット上でエンドツーエンドにモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 隣接トークンに限定した注目を制限する変更された注目メカニズムが、長文の生物医学的テキストにおける関係抽出を改善できるか？
• RQ2 BERT-GTは、最先端のモデルと比較して、文間n重関係抽出タスクでどの程度のパフォーマンスを示すか？
• RQ3 隣接注目メカニズムは、抽象レベルやマルチセンテンスな関係抽出においてノイズを低減し、パフォーマンスを向上させるか？
• RQ4 BERT-GTは、化学物質-タンパク質相互作用のような、さまざまな種類の生物医学的関係にどの程度一般化できるか？
• RQ5 BERTにグラフトランスフォーマーを統合することは、文境界を越えて複雑なマルチエンティティ関係をモデル化するのに効果的か？

主な発見

• BERT-GTは、n重関係抽出データセットにおいて、最先端手法よりも正解率が5.44%高い絶対的改善を達成した。
• n重関係データセットではF1スコアが3.89%向上し、関係抽出のパフォーマンス向上が顕著に示された。
• 化学物質-タンパク質関係データセットでは、前回の最先端モデルよりもF1スコアが3.89%高い結果を得た。
• 隣接注目メカニズムは、長文入力におけるノイズを効果的に低減し、より頑健な注目表現を生成した。
• LSTMや標準注目メカニズムを用いたモデルよりもBERT-GTが優れていることから、長文環境下における局所的注目の利点が確認された。
• モデルは強力な一般化可能性を示しており、他の生物医学的関係抽出タスクやデータセットへの応用可能性が示唆された。