[論文レビュー] KGE-CL: Contrastive Learning of Tensor Decomposition Based Knowledge Graph Embeddings

Luo Zhiping, Wentao Xu+4 more|arXiv (Cornell University)|Dec 9, 2021

Topic Modeling被引用数 4

ひとこと要約

本稿では、テンソル分解に基づく知識グラフ埋め込みのための対照的学習フレームワークKGE-CLを提案する。この手法は、異なる三項組間で関連するエンティティやエンティティ-関係ペair間の意味的類似性を向上させる。共有されるエンティティや関係に基づいてポジティブインスタンスを構築し、重み付き対照的損失を適用することで、WN18RR、FB15k-237、YAGO3-10で新たなSOTA性能を達成し、WN18RRでは51.2% MRRおよび46.8% Hits@1を達成した。

ABSTRACT

Learning the embeddings of knowledge graphs (KG) is vital in artificial intelligence, and can benefit various downstream applications, such as recommendation and question answering. In recent years, many research efforts have been proposed for knowledge graph embedding (KGE). However, most previous KGE methods ignore the semantic similarity between the related entities and entity-relation couples in different triples since they separately optimize each triple with the scoring function. To address this problem, we propose a simple yet efficient contrastive learning framework for tensor decomposition based (TDB) KGE, which can shorten the semantic distance of the related entities and entity-relation couples in different triples and thus improve the performance of KGE. We evaluate our proposed method on three standard KGE datasets: WN18RR, FB15k-237 and YAGO3-10. Our method can yield some new state-of-the-art results, achieving 51.2% MRR, 46.8% Hits@1 on the WN18RR dataset, 37.8% MRR, 28.6% Hits@1 on FB15k-237 dataset, and 59.1% MRR, 51.8% Hits@1 on the YAGO3-10 dataset.

研究の動機と目的

• 異なる三項組間で関連するエンティティやエンティティ-関係ペア間の意味的類似性を捉えられない既存の知識グラフ埋め込み（KGE）手法の限界を解消すること。
• テンソル分解に基づくKGEモデルの表現力を高めるために、三項組間の意味的関係を明示的にモデル化すること。
• 既存のテンソル分解に基づくKGE手法と互換性を持つ汎用的で効率的な対照的学習フレームワークの開発。
• 埋め込み空間内での関連するエンティティやエンティティ-関係ペア間の意味的距離を短縮することで、リンク予測性能の向上。
• 大規模知識グラフに適した、高パフォーマンスを維持しながらストレージ使用量を削減するスパース埋め込み学習の実現。

提案手法

• 同じエンティティ-関係ペアを共有するエンティティ、および同じ末尾エンティティを共有するエンティティ-関係ペアに対してポジティブインスタンスを構築する。
• 各ポジティブインスタンスの寄与度を動的に制御する重み付き対照的損失関数を設計する。
• アーキテクチャの変更なしに、既存のテンソル分解に基づくKGEモデル（例：RESCAL、ComplEx）に対照的学習フレームワークを統合する。
• 訓練中に対照的学習を適用し、意味的に類似するペア（ポジティブペア）間の距離を最小化し、ネガティブペア間の距離を最大化する。
• T-SNEを用いた可視化により、埋め込み空間内でのエンティティ-関係ペアのクラスタリングを分析・検証する。
• アブレーションスタディおよびスパarsity分析を実施し、ポジティブインスタンスおよび埋め込みのスパarsityがモデル性能に与える影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 関連するエンティティやエンティティ-関係ペア間の三項組間意味的類似性をモデル化することで、知識グラフ埋め込みの性能が向上するか？
• RQ2 提案された対照的学習フレームワークは、個々の三項組を超えた意味的関係を効果的に捉えられるか？
• RQ3 共有されるエンティティや関係に基づくポジティブインスタンスの導入が、異なるKGEモデルおよびデータセットにおいて一貫した性能向上をもたらすか？
• RQ4 標準的な対照的学習と比較して、重み付き対照的損失は一般化性能およびロバストネスをどの程度向上させるか？
• RQ5 提案されたフレームワークは、現実世界の知識グラフにとって不可欠なスパース埋め込み設定下でも高い性能を維持できるか？

主な発見

• KGE-CLはWN18RRデータセットで51.2% MRRおよび46.8% Hits@1を達成し、新たなSOTA性能を記録した。
• FB15k-237では37.8% MRRおよび28.6% Hits@1を達成し、新たなSOTA結果を樹立した。
• YAGO3-10では59.1% MRRおよび51.8% Hits@1を達成し、多様な知識グラフ構造にわたる強力な一般化能力を示した。
• アブレーションスタディの結果、ポジティブインスタンスの導入が性能向上に顕著に寄与しており、複数のKGEバリアントで一貫した向上が確認された。
• T-SNEによる可視化では、KGE-CLがベースラインモデルと比較して、同じ末尾エンティティを共有するエンティティ-関係ペアをより良好にクラスタリングしていることが示された。
• スパarsity分析の結果、DURAと比較してKGE-CLの埋め込みはスパース設定下でも高い性能を維持しており、大規模KGにおけるより優れたストレージ効率性を示している。