[論文レビュー] Integrating Graph Contextualized Knowledge into Pre-trained Language Models

Bin He, Di Zhou+5 more|arXiv (Cornell University)|Nov 30, 2019

Topic Modeling参考文献 23被引用数 41

ひとこと要約

本論文は、KG-Transformer に基づく知識表現学習を導入し、任意の知識サブグラフを用いてグラフコンテキスト知識をBERTベースの医療言語モデルに注入し、医療NLPタスクで最先端の成果を達成します。

ABSTRACT

Complex node interactions are common in knowledge graphs, and these interactions also contain rich knowledge information. However, traditional methods usually treat a triple as a training unit during the knowledge representation learning (KRL) procedure, neglecting contextualized information of the nodes in knowledge graphs (KGs). We generalize the modeling object to a very general form, which theoretically supports any subgraph extracted from the knowledge graph, and these subgraphs are fed into a novel transformer-based model to learn the knowledge embeddings. To broaden usage scenarios of knowledge, pre-trained language models are utilized to build a model that incorporates the learned knowledge representations. Experimental results demonstrate that our model achieves the state-of-the-art performance on several medical NLP tasks, and improvement above TransE indicates that our KRL method captures the graph contextualized information effectively.

研究の動機と目的

• 知識グラフからの任意のサブグラフをモデリングすることにより、単一のトリプルよりも豊かなノード表現を学習する動機づけ。
• サブグラフからエンティティと関係の結合埋め込みを学習するための Transformer ベースの KG-Transformer を開発する。
• 学習済みグラフ知識を事前学習済み言語モデルに統合して医療NLPタスクを強化する。
• 医療分野におけるエンティティタイプ推定と関係分類で性能の向上を示す。

提案手法

• サブグラフをノード列として表現し、関係をグラフノードへ変換してエンティティと関係の共同学習を可能にする。
• ノードの連結性を考慮したマスク付きアテンション機構を用いて、Transformer ベースの KG-Transformer でグラフ構造化入力をエンコードする。
• 復元されたトリプルに対してマージンベースの翻訳エネルギー損失で学習し、知識埋め込みを得る。
• KG由来の埋め込みを大規模な PubMed/医療コーパスと統合して医療言語モデル（BERT-MK）を事前学習する。
• エンティティタイプ推定と関係分類データセットで評価し、BERTファミリーベースラインおよび TransE ベースのアプローチと比較する。

実験結果

リサーチクエスチョン

• RQ1 Transformer を用いて任意のサブグラフをモデリングすることは、TransE のようなトリプレベースのアプローチよりも知識表現を改善しますか？
• RQ2 KG-Transformer によって埋め込まれたグラフ文脈知識は、事前学習済み言語モデルの医療NLPタスクにおける性能を向上させますか？
• RQ3 関係分類とエンティティタイプ推定において、KG-Transformer は従来の KRL 手法とどのように比較されますか？
• RQ4 グラフ拡張言語モデルの有効性に対する事前学習データサイズの影響はどの程度ですか？
• RQ5 学習済みのエンティティ埋め込みと関係埋め込みは、下流のBERTベースの医療言語モデルとどのように相互作用しますか？

主な発見

• BERT-MK は平均エンティティタイプ推定精度で BERT-Base、BioBERT、SCIBERT を上回る（97.26 対 97.24、97.02、97.26）.
• 関係分類では、BERT-MK がデータセット全体でより高い平均 F1 を達成（81.23 P、85.32 R、83.02 F1）し、ベースラインを上回る。
• KG-Transformer ベースの知識表現は、2つの関係分類データセットで MedERNIE（TransE ベース）と比較して F1 が 0.9 および 0.64 高くなる。
• 事前学習データが増加するにつれ BERT-MK は MedERNIE に対する優位性を継続して示し、より豊富な医療知識を統合する利点を示唆する。
• 医療用事前学習データをわずか10–20％使用しても、BERT-MK は BioBERT を上回ることができ、知識の統合が計算コストを削減しつつ性能を向上させる可能性を示唆する。