[論文レビュー] KG-BERT: BERT for Knowledge Graph Completion

Liang Yao, Chengsheng Mao+1 more|arXiv (Cornell University)|Sep 7, 2019

Advanced Graph Neural Networks参考文献 43被引用数 377

ひとこと要約

KG-BERTはEntitiesとRelationsのテキスト表現でBERTをファインチューニングし、 triplesをスコアリングします。複数のベンチマークにおける triple classification、link prediction、relation prediction で最先端の結果を達成します。

ABSTRACT

Knowledge graphs are important resources for many artificial intelligence tasks but often suffer from incompleteness. In this work, we propose to use pre-trained language models for knowledge graph completion. We treat triples in knowledge graphs as textual sequences and propose a novel framework named Knowledge Graph Bidirectional Encoder Representations from Transformer (KG-BERT) to model these triples. Our method takes entity and relation descriptions of a triple as input and computes scoring function of the triple with the KG-BERT language model. Experimental results on multiple benchmark knowledge graphs show that our method can achieve state-of-the-art performance in triple classification, link prediction and relation prediction tasks.

研究の動機と目的

• 知識グラフ完成を、不完全性と希少性に悩むタスクとして動機づける。
• KG-BERTを導入する。これは(h, r, t) triplesをBERTに入力するテキスト列として扱うフレームワークである。
• ベンチマーク全体で triple classification、link prediction、relation prediction における最先端性能を実証する。
• 文脈深化されたテキスト表現が知識グラフの推論を改善することを示す。

提案手法

• head、relation、tailをテキスト説明または名称として表現し、それをBERTの入力列としてパックする。
• 事前学習済みBERTモデルをファインチューニングして、3値スコアではなく2クラス（positive/negative）でトリプルの妥当性を出力する（KG-BERTa）。
• 2つのエンティティから関係を予測する variants をファインチューニングし、関係に対してsoftmaxを用いて関係を予測する（KG-BERTb）。
• headsまたはtailsを置換して負例を Construct し、トリプル分類の二値交差エントロピー損失を学習する。
• 標準的なAdam最適化とBERTベースのファインチューニングハイパーパラメータを使用する（batch size 32, lr 5e-5, dropout 0.1）。
• 3つのタスク（トリプル分類、リンク予測、関係予測）を評価し、実数値スコアと標準指標を用いる。

実験結果

リサーチクエスチョン

• RQ1 KG-BERTは見習いの triples(h, r, t) の妥当性を正確に判断できるか？
• RQ2 KG-BERTは与えられた2つのエンティティ間の正しい関係を予測できるか？
• RQ3 KG-BERTはリンク予測と関係予測で最先端のKG埋め込みと比較してどうか？
• RQ4 テキスト記述と文脈化された埋め込みを使用することが、KG完成タスクにどのような影響を与えるか？

主な発見

Method	WN11 / WN11 accuracy	FB13 / FB13 accuracy	Avg.	Notes
NTN	86.2	90.0	88.1	Baseline neural tensor network methods (Table 2 context)
TransE	75.9	81.5	78.7	Translational distance model
TransH	78.8	83.3	81.1	TransH extension
TransR	85.9	82.5	84.2	TransR extension
TransD	86.4	89.1	87.8	TransD extension
DistMult	87.1	86.2	86.7	Semantic matching baseline
DistMult-HRS	88.9	89.0	89.0	Hierarchical relation structure
AATE	88.0	87.2	87.6	Text-enhanced model
ConvKB	87.6	88.8	88.2	CNN-based KG embedding
DOLORES	87.5	89.3	88.4	Contextualized KG embeddings
KG-BERT(a)	93.5	90.4	91.9	KG-BERT triple classification, a)

• KG-BERT(a)はWN11で93.5%、FB13で90.4%、平均91.9%を達成し、トリプル分類でベースラインを上回った。
• KG-BERT(a)は評価された方法の中でWN18RRとFB15k-237におけるリンク予測の平均順位で最良を達成した。
• KG-BERT(b)は関係予測性能が高く、報告された結果でFB15KのHits@1を最高値で達成した。
• KG-BERTは文脈対応のテキスト豊富な表現とトークンへの注意によりトリプル分類の大幅な改善を示す。
• 注意度の可視化は、エンティティと関係を結ぶ有益な語に焦点を当てるマルチヘッド注意を示す。