[論文レビュー] Inductive Relation Prediction by BERT

Hanwen Zha, Zhiyu Chen+1 more|arXiv (Cornell University)|Mar 12, 2021

Advanced Graph Neural Networks被引用数 8

ひとこと要約

本稿では、エンティティ間の推論経路をエンコードすることで汎化性と説明可能性を向上させる、知識グラフにおける帰納的関係予測のためのBERTベースのモデルBertRLを提案する。帰納的設定において、最先端の手法よりも平均で6.3%のHits@1の向上と6.5%のMRR向上を達成し、少サンプル学習においては最大32.7%のHits@1向上を示す。

ABSTRACT

Relation prediction in knowledge graphs is dominated by embedding based methods which mainly focus on the transductive setting. Unfortunately, they are not able to handle inductive learning where unseen entities and relations are present and cannot take advantage of prior knowledge. Furthermore, their inference process is not easily explainable. In this work, we propose an all-in-one solution, called BERTRL (BERT-based Relational Learning), which leverages pre-trained language model and fine-tunes it by taking relation instances and their possible reasoning paths as training samples. BERTRL outperforms the SOTAs in 15 out of 18 cases in both inductive and transductive settings. Meanwhile, it demonstrates strong generalization capability in few-shot learning and is explainable.

研究の動機と目的

• 再トレーニングがなければ未観測のエンティティや関係を処理できない埋め込みベース手法の限界を解消するため。
• 事前学習済み言語モデルにテキスト的文脈と論理的推論経路を統合することで、説明可能で汎化性の高い関係予測を可能にするため。
• 従来のルールベースおよびニューラル手法における事前知識の活用不足と少サンプル性能の低さを克服するため。
• 推論的および帰納的設定の両方で優れた性能を発揮する統合フレームワークを構築するため、未学習の関係に対しても対応可能である。
• BERTにおける明示的な経路ベースの推論が、暗黙のエンティティ・関係符号化に比べ、正確性と解釈可能性を向上させることを示すため。

提案手法

• BertRLは、ターゲットトリプル (h, r, t) の周辺の局所的サブグラフを推論経路 p: (h, r₀, e₁), (e₁, r₁, e₂), ..., (eₙ, rₙ, t) に線形化し、それをBERTの入力シーケンスとして入力する。
• モデルは、入力を自然言語シーケンスとして扱い、'h r t'に続く経路記述を入力として、関係予測のためのBERTのファインチューニングを実施する。
• 推論時にグラフから知識を明示的に取得することで、記憶ベースの手法とは異なり、動的推論と説明可能性を実現する。
• エンティティ固有の埋め込みに依存しないため、未学習エンティティの予測が可能であり、帰納的学習をサポートする。
• 複数の経路符号化戦略（統合経路、個別経路、経路サンプリングなど）を評価し、パフォーマンスと効率性を最適化する。
• 事前学習済みBERTがテキストから事実知識を捉える能力を活用することで、限られた学習データでも性能が向上する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済み言語モデル（例：BERT）は、推論経路を用いて知識グラフの帰納的関係予測に効果的にファインチューニング可能か？
• RQ2 BERTにおける経路ベースの入力表現は、エンティティ・関係トリプルのみの入力に比べ、正確性と汎化性において優れているか？
• RQ3 BertRLは、少サンプルおよびゼロショット設定において、未観測のエンティティや関係にどの程度一般化できるか？
• RQ4 従来の埋め込みベースモデルとは異なり、BertRLは高精度な予測と説明可能性の両方を達成できるか？
• RQ5 経路符号化戦略の選択（例：経路サンプリング、統合経路）が、モデルのパフォーマンスと学習効率に与える影響はどの程度か？

主な発見

• BertRLは、帰納的知識グラフ補完において、最先端のベースラインより平均で6.3%の絶対的Hits@1向上と6.5%のMRR向上を達成した。
• 少サンプル学習において、BertRLは最大32.7%の絶対的Hits@1向上と27.8%のMRR向上を達成し、ベースラインを著しく上回った。
• 未学習の関係に対しても強力な一般化性能を示し、ゼロショット関係予測の可能性を示した。
• 5〜10本の経路をサンプリングするだけでもほぼ最適なパフォーマンスが達成され、学習データ量の変動に強く、ロバストであることが示された。
• アブレーションスタディの結果、複数の経路を統合しても個別経路よりも性能向上が見られず、データが限られる状況下でBERTが複雑な入力を処理しにくいことが示された。
• BertRLは、TuckER、RuleN、KG-BERTを含む、推論的および帰納的設定の両方における最先端手法を、複数のベンチマークで上回った。