[論文レビュー] Semantic Triple Encoder for Fast Open-Set Link Prediction.

Bo Wang, Tao Shen+3 more|arXiv (Cornell University)|Apr 30, 2020

Advanced Graph Neural Networks参考文献 55被引用数 5

ひとこと要約

本論文は、シアンズ型のトランスフォーマー・アーキテクチャを用いてエンティティおよび関係の文脈的意味をモデル化することにより、オープンセットリンク予測を向上させる意味的トリプルエンコーダーを提案する。トリプルをヘッド＋関係およびテールエンティティの文脈に分割することで、従来の文脈ベース手法と比較して最大2桁低い推論コストで最先端の性能を達成する。

ABSTRACT

We improve both the open-set generalization and efficiency of link prediction on knowledge graphs by leveraging the contexts of entities and relations in a novel semantic triple encoder. Most previous methods, e.g., translation-based and GCN-based embedding approaches, were built upon graph embedding models. They simply treat the entities/relations as a closed set of graph nodes regardless of their context semantics, which however cannot provide critical information for the generalization to unseen entities/relations. In this paper, we partition each graph triple and develop a novel context-based encoder that separately maps each part and its context into a latent semantic space. We train this semantic triple encoder by optimizing two objectives specifically designed for link prediction. In particular, (1) We split each triple into two parts, i.e., i) head entity plus relation and ii) tail entity, process both contexts separately by a Transformer encoder, and combine the encoding outputs to derive the prediction. This Siamese-like architecture avoids the combinatorial explosion of candidate triples and significantly improves the efficiency, especially during inference; (2) We cover the contextualized semantics of the triples in the encoder so it can handle unseen entities during inference, which promisingly improves the generalization ability; (3) We train the model by optimizing two complementary objectives defined on the triple, i.e., classification and contrastive losses, for natural and reliable ranking scores during inference. In experiments, we achieve the state-of-the-art or competitive performance on three popular link prediction benchmarks. In addition, we empirically reduce the inference costs by one or two orders of magnitude compared to a recent context-based encoding approach and meanwhile keep a superior quality of prediction.

研究の動機と目的

• エンティティおよび関係を閉じた集合として扱う既存のグラフ埋め込みモデルの制限を解決し、一般化に不可欠な文脈的意味を無視しないこと。
• 文脈的意味をエンコーディングすることで、オープンワールド知識グラフにおける未観測エンティティおよび関係への一般化を向上させること。
• シアンズ型エンコーダー設計により、候補トリプルの組み合わせ爆発を回避することで推論効率を向上させること。
• 分類損失と対照的損失の二重目的を最適化することで、リンク予測における信頼性の高い順位スコアを実現すること。

提案手法

• 各トリプルを二つの部分に分割：(i) ヘッドエンティティと関係、(ii) テールエンティティ、それぞれをトランスフォーマー・エンコーダーで別々に符号化する。
• 両方の部分を独立して符号化し、その表現を連結して最終予測を行う、シアンズ型アーキテクチャを採用する。
• 分類損失（正例／負例の予測）と対照的損失（意味的分離の向上）の二つの補完的目的を用いてモデルを訓練する。
• エンティティおよび関係の文脈化表現を活用し、推論時に未観測エンティティへの一般化を可能にする。
• 両方の部分に共通のエンコーダーヘッドを使用することで、パラメータ効率と一貫性のある表現学習を確保する。
• 二つの部分の符号化表現を一つのベクトルに統合し、リンク予測のスコアリングに使用する。

実験結果

リサーチクエスチョン

• RQ1 文脈に配慮したエンコーダー・アーキテクチャは、オープンセットリンク予測における未観測エンティティおよび関係への一般化を改善できるか？
• RQ2 意味的トリプルエンコーダーのシアンズ型設計は、従来の手法と比較して推論コストをどのように低減するか？
• RQ3 分類損失と対照的損失の二重トレーニング目的は、順位スコアの品質と耐性にどの程度寄与するか？
• RQ4 推論時間を著しく短縮しつつ、高い予測精度を維持できるか？

主な発見

• 提案手法は、三つの標準的なリンク予測ベンチマークで最先端または競争力のある性能を達成した。
• 最近の文脈ベース符号化手法と比較して、推論コストが1桁から2桁低減された。
• 文脈化符号化機構のおかげで、未観測エンティティおよび関係への一般化が効果的に実現された。
• 分類損失と対照的損失の組み合わせにより、推論時の順位スコアがより信頼性があり自然なものになった。
• シアンズアーキテクチャにより、候補トリプルの組み合わせ爆発を回避し、推論効率が著しく向上した。