[論文レビュー] Multi-task Pre-training Language Model for Semantic Network Completion

Da Li, Sen Yang+4 more|arXiv (Cornell University)|Jan 13, 2022

Advanced Graph Neural Networks被引用数 4

ひとこと要約

本稿では、リンク予測を向上させるためにエンティティ、関係、文脈表現を共同で学習する、知識グラフ補完のためのマルチタスク事前学習言語モデルLP-BERTを提案する。マスクされたエンティティおよび関係モデリングタスクとバッチ単位の三元組スタイルのネガティブサンプリング戦略を導入することで、LP-BERTは最先端の性能を達成し、WN18RRではHits@10を5%向上させ、UMLSでは100%に達した。

ABSTRACT

Semantic networks, such as the knowledge graph, can represent the knowledge leveraging the graph structure. Although the knowledge graph shows promising values in natural language processing, it suffers from incompleteness. This paper focuses on knowledge graph completion by predicting linkage between entities, which is a fundamental yet critical task. Semantic matching is a potential solution as it can deal with unseen entities, which the translational distance based methods struggle with. However, to achieve competitive performance as translational distance based methods, semantic matching based methods require large-scale datasets for the training purpose, which are typically unavailable in practical settings. Therefore, we employ the language model and introduce a novel knowledge graph architecture named LP-BERT, which contains two main stages: multi-task pre-training and knowledge graph fine-tuning. In the pre-training phase, three tasks are taken to drive the model to learn the relationship from triples by predicting either entities or relations. While in the fine-tuning phase, inspired by contrastive learning, we design a triple-style negative sampling in a batch, which greatly increases the proportion of negative sampling while keeping the training time almost unchanged. Furthermore, we propose a new data augmentation method utilizing the inverse relationship of triples to improve the performance and robustness of the model. To demonstrate the effectiveness of our method, we conduct extensive experiments on three widely-used datasets, WN18RR, FB15k-237, and UMLS. The experimental results demonstrate the superiority of our methods, and our approach achieves state-of-the-art results on WN18RR and FB15k-237 datasets. Significantly, Hits@10 indicator is improved by 5% from previous state-of-the-art result on the WN18RR dataset while reaching 100% on the UMLS dataset.

研究の動機と目的

• 未学習のエンティティに対するリンク予測の向上により、知識グラフの不完全性の課題に対処する。
• 未知語彙のエンティティで失敗する移動距離モデルの限界を克服する。
• 低ネガティブサンプリング比と一般化性能の低さに悩む意味的マッチングベースのモデルを強化する。
• 構造的および非構造的データから関係的および意味的知識を効果的に捉える事前学習フレームワークを開発する。
• 逆三元組を用いた新しいデータ拡張により、モデルのロバスト性と性能を向上させる。

提案手法

• 文脈表現、エンティティ表現、関係表現を学習するため、マスクド言語モデリング（MLM）、マスクドエンティティモデリング（MEM）、マスクド関係モデリング（MRM）の3つのタスクを含むマルチタスク事前学習フェーズを導入する。
• 対照的学習にインspiredされたバッチ単位の三元組スタイルネガティブサンプリング戦略を設計し、トレーニング時間に影響を与えずにネガティブサンプリングの割合を増加させる。
• 三元組の逆関係を用いたデータ拡張法を提案し、トレーニングサンプルの多様性とモデルのロバスト性を向上させる。
• 一般化性能の向上を図るため、対照的学習にインspiredされた目的関数を用いて、知識グラフ補完タスクで事前学習モデルを微調整する。
• 意味的マッチングのため、エンティティおよび関係のテキスト記述をBERTスタイルのトランスフォーマーアーキテクチャで符号化する。
• 大規模な知識グラフ三元組での事前学習と、下流のリンク予測タスクでの微調整を統合する。

実験結果

リサーチクエスチョン

• RQ1 エンティティおよび関係のマスキングを伴うマルチタスク事前学習は、知識グラフにおけるゼロショットおよびフェイントショットリンク予測を向上させることができるか？
• RQ2 バッチ単位の三元組スタイルネガティブサンプリングは、標準的なネガティブサンプリングと比較して、モデルの収束性と性能にどのような影響を与えるか？
• RQ3 逆三元組を用いたデータ拡張は、モデルの一般化およびロバスト性をどの程度向上させるか？
• RQ4 意味的マッチングベースのモデルは、特に未学習のエンティティに対して、移動距離モデルを上回るリンク予測性能を示せるか？
• RQ5 事前学習は、多様なベンチマークにおいて下流の知識グラフ補完性能にどのような影響を与えるか？

主な発見

• LP-BERTはWN18RRおよびFB15k-237データセットで最先端の性能を達成し、リンク予測において既存手法を上回った。
• WN18RRでは、前回の最先端結果と比較してHits@10を5%向上させ、顕著な性能向上を示した。
• UMLSデータセットでは、LP-BERTはHits@10が100%に達し、このベンチマークで完璧な性能を示した。
• 事例研究では、LP-BERTが正しく予測されたエンティティを常に高い順位（平均順位1.4）にランク付けしたのに対し、MLMオンリーモデルでは順位3.4、事前学習なしでは順位8.2にとどまった。
• 提案されたバッチ単位のネガティブサンプリングは、トレーニング効率を維持したまま、ネガティブサンプリング比を顕著に向上させた。
• 逆三元組を用いたデータ拡張法は、特にリソースが限られた環境下で、モデルのロバスト性と一般化性能を向上させた。