[論文レビュー] Lifelong Embedding Learning and Transfer for Growing Knowledge Graphs

Yuanning Cui, Yuxin Wang+5 more|arXiv (Cornell University)|Nov 29, 2022

Advanced Graph Neural Networks被引用数 4

ひとこと要約

本稿では、マスクされたKG自己符号化器、知識埋め込みの転送、および悪化忘却を防ぐ正則化を用いて、拡大するKGにおける継続的学習を可能にする、Lifelong Knowledge Graph Embedding（LKGE）モデルを提案する。このモデルは、4つの多様な成長シナリオにおいて、リンク予測、前方知識転送、および学習効率の面で最先端の性能を達成し、エンティティ中心、関係中心、事実中心、ハイブリッドKG成長データセットにおいて、既存のベースラインを上回っている。

ABSTRACT

Existing knowledge graph (KG) embedding models have primarily focused on static KGs. However, real-world KGs do not remain static, but rather evolve and grow in tandem with the development of KG applications. Consequently, new facts and previously unseen entities and relations continually emerge, necessitating an embedding model that can quickly learn and transfer new knowledge through growth. Motivated by this, we delve into an expanding field of KG embedding in this paper, i.e., lifelong KG embedding. We consider knowledge transfer and retention of the learning on growing snapshots of a KG without having to learn embeddings from scratch. The proposed model includes a masked KG autoencoder for embedding learning and update, with an embedding transfer strategy to inject the learned knowledge into the new entity and relation embeddings, and an embedding regularization method to avoid catastrophic forgetting. To investigate the impacts of different aspects of KG growth, we construct four datasets to evaluate the performance of lifelong KG embedding. Experimental results show that the proposed model outperforms the state-of-the-art inductive and lifelong embedding baselines.

研究の動機と目的

• 新しい事実、エンティティ、関係が時間とともに出現する現実世界の進化するKGにおける継続的知識グラフ埋め込みの挑戦に応えること。
• 再訓練から始めることなく、以前に学習された埋め込みから新しい未観測のエンティティおよび関係への効率的な知識転送を可能にすること。
• 古いエンティティおよび関係の埋め込みに対する段階的更新における悪化忘却を防止すること。
• 従来のデータセットで理想的な仮定に依存しない、エンティティ中心、関係中心、事実中心、ハイブリッドの多様な成長パターンを含む、KG成長の多様なパターンにおけるモデル性能の評価。
• 複数のKGスナップショットにわたって学習効率を向上させつつ、高い予測精度を維持すること。

提案手法

• マスクされたエンティティまたは関係を用いて、新しい事実を再構築するためのマスクKG自己符号化器を用い、古いノードと新しいノードの間で局所的な知識転送を可能にする。
• 事前に学習された過去のスナップショットからの知識を用いて、新しいエンティティおよび関係の埋め込みを初期化する埋め込み転送戦略を採用し、収束を加速させ、埋め込み空間の安定化を図る。
• 新しい事実の学習と古い知識の保持のバランスを取る埋め込み正則化法を用い、段階的更新における悪化忘却を緩和する。
• 影響を受けるエンティティのみの埋め込みを更新しながら、KGスナップショットの段階的学習を実施し、残りの埋め込みは保存する。
• 時間経過にわたって一貫した表現を維持することで、前向きおよび後向きの知識転送をサポートする。
• エンティティ中心、関係中心、事実中心、ハイブリッドの異なる成長パターンにおける性能評価を目的とした、4つの新しいベンチマークデータセットを構築した。

実験結果

リサーチクエスチョン

• RQ1 拡大するKGにおいて、新しい事実を学習しつつ、以前に習得した知識を保持するKG埋め込みモデルは、どのようにして効果的に実現できるか？
• RQ2 既存の埋め込みからの知識転送は、生涯学習の文脈において、新しいエンティティおよび関係の学習をどの程度向上させ得るか？
• RQ3 提案された正則化戦略は、古い埋め込みに対する段階的更新において、悪化忘却をどのように緩和するか？
• RQ4 モデルの性能は、エンティティ中心、関係中心、事実中心、ハイブリッドといった異なるKG成長タイプにおいて、どのように変化するか？
• RQ5 再訓練や微調整ベースラインと比較して、生涯KG埋め込みにおける学習効率と予測精度のトレードオフはどのようなものか？

主な発見

• LKGEは4つのデータセットすべてで最高の平均逆順位（MRR）を達成し、エンティティデータセットで0.227、関係データセットで0.367、事実データセットで0.372、ハイブリッドデータセットで0.367のMRRスコアを記録し、すべてのベースラインを上回った。
• 前方知識転送（FWT）の観点でも優れた性能を示し、特にスキーマの変更が生じる関係およびハイブリッドデータセットにおいて、競合他社と比べて顕著に高いFWTスコアを達成した。
• 後向き知識転送（BWT）も効果的に保持されており、LKGEはすべてのデータセットで正のBWTスコアを達成し、古い知識の安定的保持を示した。
• 再訓練およびスナップショットベースラインと比較して、学習時間が大幅に短縮された。特に、埋め込み転送のおかげで、後続のスナップショットでの効率向上が顕著に見られた。
• アブレーションスタディの結果、マスク自己符号化器や正則化を削除すると、性能が著しく低下することが確認され、これらが知識保持および学習安定性において重要な役割を果たしていることが示された。
• 埋め込み転送戦略は、スキーマのシフトが生じる関係およびハイブリッドデータセットで性能向上をもたらしたが、多数の新規エンティティが必要となるエンティティデータセットでは、やや重要性が低いことが分かった。