[論文レビュー] TILP: Differentiable Learning of Temporal Logical Rules on Knowledge Graphs

Siheng Xiong, Yuan Yang+2 more|arXiv (Cornell University)|Feb 19, 2024

Bayesian Modeling and Causal Inference被引用数 11

ひとこと要約

TILP は、制約付きランダムウォークを用いて時相知識グラフ上の時相論理ルールを学習する微分可能なフレームワークを導入し、リンク予測で競争力を発揮し、解釈可能な説明を提供します。

ABSTRACT

Compared with static knowledge graphs, temporal knowledge graphs (tKG), which can capture the evolution and change of information over time, are more realistic and general. However, due to the complexity that the notion of time introduces to the learning of the rules, an accurate graph reasoning, e.g., predicting new links between entities, is still a difficult problem. In this paper, we propose TILP, a differentiable framework for temporal logical rules learning. By designing a constrained random walk mechanism and the introduction of temporal operators, we ensure the efficiency of our model. We present temporal features modeling in tKG, e.g., recurrence, temporal order, interval between pair of relations, and duration, and incorporate it into our learning process. We compare TILP with state-of-the-art methods on two benchmark datasets. We show that our proposed framework can improve upon the performance of baseline methods while providing interpretable results. In particular, we consider various scenarios in which training samples are limited, data is biased, and the time range between training and inference are different. In all these cases, TILP works much better than the state-of-the-art methods.

研究の動機と目的

• 時相知識グラフ（tKGs）の時相論理ルールの学習を促進し、時間とともの進化を捉える。
• 時間的特徴モデリングを伴う制約付きランダムウォークを通じて時相ルールを学習する微分可能なフレームワークを開発する。
• 時相証拠とともにルールベースの説明による解釈可能な予測を提供する。
• 標準的な tKG ベンチマークで評価し、最先端の埋め込み法およびルールベース法と比較する。
• データ不足・バイアス・時代シフトの状況下での頑健性を示す。

提案手法

• 区間ベースの事実と区間間の時間的関係を持つ時系列知識グラフを定義する。
• 行列演算子を用いて、マルコフ制約（述語とクエリ区間）と非マルコフ性の TR 制約を組み合わせた制約付きランダムウォークを導入する。
• P、TR、長さへの注意ベクトルを用いたRNNベースのシステムで、述語・時相関係・規則長に対するアテンション分布を用いて時相ルールを学習する。
• 候補を評価する根拠として、Recurrence、TemporalOrder、RelationPairInterval、Duration などの時間特徴モデリングを組み込む。
• ルールベースのスコア（TLR）と時間特徴スコア（TFM）を計算し、それらを統合してランキングと予測の最終 TILP スコアを得る。
• 訓練は二段階で進み、正解候補を最大化するようアテンションベクトルを学習させ、次に時間特徴分布を適合させて予測のために結合する。

Figure 1: The RNN-based system for solving the attention vectors

実験結果

リサーチクエスチョン

• RQ1 制約付きランダムウォークによる微分可能な時相ルール学習は、埋め込みベースの手法と比較して tKG で競争力のあるリンク予測を達成できるか。
• RQ2 時間特徴とルールベースの説明は、データ不足・バイアス・時代シフトの状況下で解釈性と頑健性を高めるか。
• RQ3 実世界データセットに対して TILP は区間ベースの時相関係を用いた時相論理ルールをどれだけうまく学習・適用できるか。
• RQ4 時間特徴モデリングの取り込みが予測性能に与える影響は何か。
• RQ5 標準ベンチマーク（WIKIDATA12k、YAGO11k）における TILP のパフォーマンスは、最先端手法と比べてどうか。

主な発見

モデル	MRR	hit@1	hit@10	MRR	hit@1	hit@10
Neural-LP	0.1823	0.0908	0.3848	0.1001	0.0401	0.1845
AnyBURL	0.1908	0.1030	0.3904	0.0908	0.0378	0.1814
TLogic	0.2536	0.1754	0.4424	0.1545	0.1180	0.2309
ComplEx	0.2482	0.1430	0.4890	0.1814	0.1146	0.3111
TA-ComplEx	0.2278	0.1269	0.4600	0.1524	0.0936	0.2626
HyTE (TransE)	0.2528	0.1470	0.4826	0.1355	0.0332	0.2981
DE-SimplE	0.2529	0.1468	0.4905	0.1512	0.0875	0.2674
TNT-Complex	0.3010	0.1973	0.5069	0.1801	0.1102	0.3128
TimePlex (base)	0.3238	0.2203	0.5279	0.1835	0.1099	0.3186
TimePlex	0.3335	0.2278	0.5320	0.2364	0.1692	0.3671
TILP (w/o tfm)	0.3114	0.2152	0.5077	0.1880	0.1336	0.3089
TILP	0.3328	0.2342	0.5289	0.2411	0.1667	0.4149

• TILP は2つの tKG ベンチマークで、指標全体で最先端ベースラインと同等以上の性能を達成する。
• TILP は学習した時相論理ルールと grounding による解釈可能な説明を提供する。
• 時間特徴モデリングと制約付きランダムウォークは、データ不足・バイアスのある状況で頑健性を向上させる。
• 時代シフト設定で、TILP は TimePlex および TLogic を上回り、異なる時間範囲への転移性が高いことを示している。
• アブレーション実験では、tfm（時間特徴モデリング）を含む完全な TILP が一般に最良の結果を示し、tfm なしは後れを取る。
• 学習したルールと grounding の例は、人間に理解しやすい推論経路を示す（例: memberOf および receiveAward ルール）。

Figure 2: Link prediction performance with few training samples