[論文レビュー] Knowledge Graph Contrastive Learning Based on Relation-Symmetrical Structure

Ke Liang, Yue Liu+6 more|arXiv (Cornell University)|Nov 19, 2022

Advanced Graph Neural Networks被引用数 11

ひとこと要約

本稿では、言語モデルに依存せずに、関係の対称的構造を活用して陽性対照ペアを構築する知識グラフ対照学習フレームワーク、KGE-SymCLを提案する。対称的な関係的役割を果たすエンティティ同士を意味的に類似するとみなすことにより、リンク予測およびエンティティ分類タスクにおいて、最小限の計算コストで最先端のベースラインを常に上回るKGEモデルの性能向上を実現する。

ABSTRACT

Knowledge graph embedding (KGE) aims at learning powerful representations to benefit various artificial intelligence applications. Meanwhile, contrastive learning has been widely leveraged in graph learning as an effective mechanism to enhance the discriminative capacity of the learned representations. However, the complex structures of KG make it hard to construct appropriate contrastive pairs. Only a few attempts have integrated contrastive learning strategies with KGE. But, most of them rely on language models ( e.g., Bert) for contrastive pair construction instead of fully mining information underlying the graph structure, hindering expressive ability. Surprisingly, we find that the entities within a relational symmetrical structure are usually similar and correlated. To this end, we propose a knowledge graph contrastive learning framework based on relation-symmetrical structure, KGE-SymCL, which mines symmetrical structure information in KGs to enhance the discriminative ability of KGE models. Concretely, a plug-and-play approach is proposed by taking entities in the relation-symmetrical positions as positive pairs. Besides, a self-supervised alignment loss is designed to pull together positive pairs. Experimental results on link prediction and entity classification datasets demonstrate that our KGE-SymCL can be easily adopted to various KGE models for performance improvements. Moreover, extensive experiments show that our model could outperform other state-of-the-art baselines.

研究の動機と目的

• 既存の対照的KGE手法が陽性ペアの構築に事前学習済み言語モデルに強く依存するという制限を是正すること。これによりノイズが混入しやすく、耐性が低下するおそれがある。
• 知識グラフに内在する構造的インダクティブバイアス、特に関係の対称的構造を、対照学習のためのより安定的で内生的な基準として探求すること。
• アーキテクチャの変更なしに、さまざまなKGEモデルの判別能力を向上させる、プラグアンドプレイ可能な対照学習フレームワークを開発すること。
• KG内の対称的構造的パターンが本質的に意味的類似性をエンコードしており、効果的な自己教師付き対照学習を可能にすることを実証すること。

提案手法

• フレームワークは、共通のピボットから対称的関係で接続されたエンティティが意味的に関連するとみなされる、知識グラフ内の関係の対称的構造を特定する。
• このような構造における対称的位置にあるエンティティを対象に、陽性ペアを構築し、自己教師付き対照学習信号を形成する。
• 訓練中に構造的に導出された陽性ペアを引き寄せるために、新規の自己教師付きアライメント損失を導入する。
• さまざまなKGEモデル（COMPGCN、SimKGCなど）と互換性を持つように設計された、プラグアンドプレイモジュールとしての構造を採用する。
• 関係の対称的構造は、KGの1回の走査によって抽出され、辞書に格納され、効率的な再利用が可能になる。
• 構造的陽性ペアに基づく対照損失と、下流タスク損失（例：リンク予測やエンティティ分類）を同時に最適化する。

実験結果

リサーチクエスチョン

• RQ1 知識グラフにおける関係の対称的構造は、KGEにおける陽性対照ペアの構築に、モデルに依存しない信頼できる基準として機能するか？
• RQ2 言語モデルに基づく対照学習と比較して、構造的対称性を活用することで、KGEモデルの判別能力はどの程度向上するか？
• RQ3 提案されたKGE-SymCLフレームワークは、異なるKGEアーキテクチャおよびベンチマークデータセットに対して、どの程度の頑健性と汎用性を示すか？
• RQ4 ホップ数、サンプリング数、損失重み付けといったハイパーパrameterの影響は、KGE-SymCLの性能にどの程度及ぼすか？

主な発見

• KGE-SymCLは、COMPGCN や SimKGC などの複数のKGEモデルにおいて、リンク予測およびエンティティ分類ベンチマークで一貫して性能向上を達成した。
• WN18RR、FB15K-237、NELL-995 において、既存の対照的KGE手法を上回る最先端の結果を達成した。
• フレームワークはわずかな実行時オーバーヘッドしか追加せず、COMPGCNを用いたWN18RRおよびFB15K-237の学習において、約2.5〜6.7分の追加時間で済むため、実世界の利用に実用的である。
• ホップ数（K）およびサンプリング数（m）の変動に対してモデルは頑健であり、性能の変動が最小限に抑えられており、ハイパーパrameterへの感受性が低いことが示された。
• トレードオフハイパーパrameter α は非常に重要な影響を持つことが判明し、対照損失とタスク損失のスケールの違いを考慮すると、最適な性能は α = 0.001 で達成された。
• 構造抽出には標準的なKGで1CPUで50〜120分程度の時間がかかるが、これは一度だけ実行され、以降は再利用可能であるため、インフェレンスは効率的である。