[論文レビュー] Temporal Knowledge Graph Reasoning with Historical Contrastive Learning

Yi Xu, Junjie Ou+2 more|arXiv (Cornell University)|Nov 20, 2022

Advanced Graph Neural Networks被引用数 6

ひとこと要約

本稿では、履歴の対照的学習を活用して、歴史的および非歴史的依存関係を統合的にモデル化することで、イベント予測の精度を向上させる、新しい時系列知識グラフ推論モデルCENETを提案する。クエリ表現を教師付き対照的学習で学習し、マスクベースの推論戦略を採用することで、イベントベースのデータセットにおいて最先端手法よりも最小8.3%の相対的向上を達成した。

ABSTRACT

Temporal knowledge graph, serving as an effective way to store and model dynamic relations, shows promising prospects in event forecasting. However, most temporal knowledge graph reasoning methods are highly dependent on the recurrence or periodicity of events, which brings challenges to inferring future events related to entities that lack historical interaction. In fact, the current moment is often the combined effect of a small part of historical information and those unobserved underlying factors. To this end, we propose a new event forecasting model called Contrastive Event Network (CENET), based on a novel training framework of historical contrastive learning. CENET learns both the historical and non-historical dependency to distinguish the most potential entities that can best match the given query. Simultaneously, it trains representations of queries to investigate whether the current moment depends more on historical or non-historical events by launching contrastive learning. The representations further help train a binary classifier whose output is a boolean mask to indicate related entities in the search space. During the inference process, CENET employs a mask-based strategy to generate the final results. We evaluate our proposed model on five benchmark graphs. The results demonstrate that CENET significantly outperforms all existing methods in most metrics, achieving at least $8.3\%$ relative improvement of Hits@1 over previous state-of-the-art baselines on event-based datasets.

研究の動機と目的

• 履歴的相互作用トレースが十分にない新規または稀なイベントの予測という課題に対処すること。
• 繰り返し発生するパターンに依存するのを減らし、イベント予測において歴史的および非歴史的依存関係を両方モデル化すること。
• クエリが歴史的要因よりも非歴史的要因に依存するかどうかに基づいて、クエリタイプを区別する対照的学習フレームワークを導入すること。
• 関連するエンティティを優先する動的マスクを生成するために学習されたバイナリ分類器を用いることで、推論精度を向上させること。
• 特に、歴史的相互作用頻度が低い主語エンティティにおいても、エンティティの再発生率の不均衡の影響を軽減すること。

提案手法

• CENETは、与えられたクエリに対して、歴史的および非歴史的イベントからの依存関係をモデル化するコピーメカニズムに基づくスコアリング戦略を採用する。
• クエリ表現を教師付き対照的学習で学習し、正しいエンティティが歴史的に頻出するか否かに基づいてクエリを区別する。
• 対照的損失を用いて訓練されたバイナリ分類器が、予測が歴史的エンティティか非歴史的エンティティかを示すブールマスクを出力する。
• 推論段階では、分類器の出力に基づいて候補エンティティをフィルタリングするマスクベースの戦略を適用し、関連するエンティティに焦点を当てる。
• 二つの損失関数を最適化する：標準的な予測のための交差エントロピー損失（$\mathcal{L}^{ce}$）と、クエリ表現学習の向上を図る教師付き対照的損失（$\mathcal{L}^{sup}$）。
• ハイパーパrameter $\alpha$ と $\lambda$ は、二つの損失関数の寄与度とマスク重みのバランスを調整するために最適化される。

実験結果

リサーチクエスチョン

• RQ1 時系列知識グラフにおいて、対照的学習フレームワークは、歴史的イベントと非歴史的イベントに依存するクエリを効果的に区別できるか？
• RQ2 歴史的および非歴史的依存関係を統合的にモデル化することで、希少または新規イベントの予測性能はどのように向上するか？
• RQ3 学習されたマスクベースの推論戦略は、全候補エンティティに対する均一なランク付けと比較して、どれほど精度を向上させるか？
• RQ4 提案フレームワークの各構成要素—対照的学習、バイナリ分類器、マスク戦略—は、性能向上にそれぞれどのように寄与しているか？
• RQ5 本モデルは、再発生率や構造的特徴が異なる多様な時系列知識グラフ（TKG）に一般化可能か？

主な発見

• CENETは、イベントベースの時系列知識グラフ（TKG）データセットにおいて、最先端のベースライン手法よりも最小8.3%の相対的向上を達成し、優れた一般化性能を示した。
• ICEWS18およびYAGOにおいて、対照的学習部を除去したCENET-w/o-CLは最も悪い性能を示し、表現学習におけるその重要性を裏付けた。
• アブレーションスタディの結果、歴史的および非歴史的依存関係の両方が不可欠であることが判明した。CENET-his（歴史的のみ）はCENET-nhis（非歴史的のみ）を上回るが、最適な結果を得るには両方が必要である。
• マスクベースの推論戦略は性能向上に顕著な寄与を示し、CENET-w/o-stage-2（分類器なし）ではICEWS18で1.7%、YAGOで3.8%のHits@1低下を示した。
• ハイパーパrameter分析により、$\alpha = 0.2$ および $\lambda = 2$ が最適なパラメータであると判明。$\mathcal{L}^{ce}$ はイベントベースのTKGでより大きな寄与を示し、$\mathcal{L}^{sup}$ は公開KGでより効果的である。
• 再発生率の不均衡の影響を効果的に軽減し、主語エンティティの歴史的相互作用頻度が低くても、関係のないエンティティが選択される確率を低下させた。