[論文レビュー] Logic and Commonsense-Guided Temporal Knowledge Graph Completion

Guanglin Niu, Bo Li|arXiv (Cornell University)|Nov 30, 2022

Topic Modeling被引用数 4

ひとこと要約

本稿では、時系列的要因と因果関係の両方の時間的依存性を統合的に学習するとともに、時間に依存しない一般常識知識も統合する、LCGEと呼ばれる新しい時系列知識グラフ補完モデルを提案する。時間的ルールに従う述語正則化と一般常識に配慮した埋め込みを統合することで、3つのベンチマークデータセットで最先端の性能を達成し、シンボリックルールを用いた因果推論により説明可能な予測を提供する。

ABSTRACT

A temporal knowledge graph (TKG) stores the events derived from the data involving time. Predicting events is extremely challenging due to the time-sensitive property of events. Besides, the previous TKG completion (TKGC) approaches cannot represent both the timeliness and the causality properties of events, simultaneously. To address these challenges, we propose a Logic and Commonsense-Guided Embedding model (LCGE) to jointly learn the time-sensitive representation involving timeliness and causality of events, together with the time-independent representation of events from the perspective of commonsense. Specifically, we design a temporal rule learning algorithm to construct a rule-guided predicate embedding regularization strategy for learning the causality among events. Furthermore, we could accurately evaluate the plausibility of events via auxiliary commonsense knowledge. The experimental results of TKGC task illustrate the significant performance improvements of our model compared with the existing approaches. More interestingly, our model is able to provide the explainability of the predicted results in the view of causal inference. The source code and datasets of this paper are available at https://github.com/ngl567/LCGE.

研究の動機と目的

• 既存のTKGCモデルが時系列的出来事における時系列的要因と因果関係を統合的に表現する点に限界を示しているのを是正すること。
• 時間に依存する出来事のダイナミクスと時間に依存しない一般常識的知識の両方を組み込むことで、予測精度を向上させること。
• 抽出された時系列ルールを用いた因果推論を可能にすることで、モデルの説明可能性を向上させること。
• 論理的推論とニューラル埋め込み学習を統合する包括的なフレームワークを構築すること。

提案手法

• 抽出された時系列ルールを用いて因果関係を述語表現に組み込むための、時系列ルールに従う述語埋め込み正則化戦略を提案する。
• 時間に依存する埋め込み（時系列的要因と因果関係の両方）と時間に依存しない一般常識的埋め込みを統合する共同スコアリング機構を設計する。
• 単一の時間制約を超えて、多様な時系列ルールパターンを自動的に抽出するための時系列ルール学習アルゴリズムを導入する。
• クエリの出来事と高品質な時系列ルールを照合するためのシンボリック推論モジュールを採用し、説明可能な推論を実現する。
• 時間に配慮した出来事スコアリング用と一般常識に基づく妥当性評価用の二重ブランチアーキテクチャを採用する。
• トレーニング中にTKGC性能とルールの一貫性の両方を最適化する微分可能損失関数を適用する。

実験結果

リサーチクエスチョン

• RQ1 包括的なモデルは、時系列知識グラフにおける時系列的要因と因果関係を効果的に表現できるか？
• RQ2 一般常識的知識は、欠落している時系列的出来事の妥当性スコアリングをどのように向上させられるか？
• RQ3 時系列ルールは自動的に抽出可能であり、TKGCにおける説明可能性の向上に寄与できるか？
• RQ4 論理的ガイドラインに基づく推論とニューラル埋め込みを組み合わせることで、従来のデータ駆動型TKGEモデルに比べて顕著な性能向上が達成できるか？

主な発見

• LCGEは、3つのベンチマークデータセット（ICEWS14、ICEWS05-15、Wikidata12k）において、最先端のベースラインと比較して顕著な性能向上を達成した。
• ICEWS14では、最良のベースラインであるTeLMと比較して、MRRが6.7%、Hits@1が7.9%向上した。
• ICEWS05-15では、TeLMと比較してMRRが7.7%、Hits@1が9.3%向上した。
• Wikidata12kでは、MRRが29.2%、Hits@1が31.6%の相対的改善を記録し、優れた一般化性能を示した。
• アブレーションスタディの結果、時系列ルールに従う正則化と一般常識モジュールの両方が不可欠であり、後者が性能向上により寄与していることが確認された。
• 事例スタディにより、LCGEがクエリをシンボリックな時系列ルールに照合することで、説明可能な予測を提供していることが示された。たとえば、あるルールと根拠となる出来事に基づき、『韓国』を訪問イベントの目的語として導出している。