[論文レビュー] Pre-trained Language Model with Prompts for Temporal Knowledge Graph Completion

Wenjie Xu, Ben Liu+3 more|arXiv (Cornell University)|May 13, 2023

Topic Modeling被引用数 4

ひとこと要約

本稿では、時刻に特化したプロンプトを用いた事前学習言語モデルPPTを提案する。PPTは、時系列的プロンプトを用いて四元組を意味的に整合性のある文に変換し、マスクされたトークンの予測を可能にすることで、時系列的知識グラフ補完（TKGC）を実現する。時間的間隔と関係的意味を効果的に活用することで、3つのベンチマークデータセットでSOTA性能を達成し、一般化設定においてGNNベースの手法を上回る。

ABSTRACT

Temporal Knowledge graph completion (TKGC) is a crucial task that involves reasoning at known timestamps to complete the missing part of facts and has attracted more and more attention in recent years. Most existing methods focus on learning representations based on graph neural networks while inaccurately extracting information from timestamps and insufficiently utilizing the implied information in relations. To address these problems, we propose a novel TKGC model, namely Pre-trained Language Model with Prompts for TKGC (PPT). We convert a series of sampled quadruples into pre-trained language model inputs and convert intervals between timestamps into different prompts to make coherent sentences with implicit semantic information. We train our model with a masking strategy to convert TKGC task into a masked token prediction task, which can leverage the semantic information in pre-trained language models. Experiments on three benchmark datasets and extensive analysis demonstrate that our model has great competitiveness compared to other models with four metrics. Our model can effectively incorporate information from temporal knowledge graphs into the language models.

研究の動機と目的

• タイムスタンプからの時間的情報を抽出する既存のTKGC手法の限界を解消すること。
• 事前学習言語モデルを活用することで、時系列的知識グラフ補完における一般化性能を向上させること。
• プロンプトを用いて時系列的知識グラフデータを構造化し、PLMとの統合を促進すること。
• プロンプトベースのファインチューニングにより、暗黙の時間的意味と関係的依存性を効果的に捉えることができることを示すこと。

提案手法

• タイムスタンプ間の時間的間隔を符号化する時間プロンプトを用いて、サンプリングされた四元組（主語、関係、目的語、タイムスタンプ）を自然言語シーケンスに変換する。
• 異なる時間的間隔（例：「1日前に」、「1週間後に」）に対して固有のプロンプトを構築し、相対的な時間情報を明示的に埋め込む。
• 目的エンティティをマスクすることでTKGCタスクをマスクトークン予測問題に変換し、事前学習言語モデルをファインチューニングする。
• ファインチューニング中にマスク戦略を適用し、歴史的出来事の文脈的表現に基づいて欠落したエンティティを予測できるようにする。
• 事前学習モデルが一貫した入力シーケンスから長距離依存関係や暗黙の意味を捉える能力を活用する。
• プロンプト工学を適用して入力トークンの文法的整合性と意味的豊かさを確保し、PLMのインダクティブバイアスを効果的に活用する。

実験結果

リサーチクエスチョン

• RQ1 四元組を自然言語シーケンスに変換することで、事前学習言語モデルを時系列的知識グラフ補完に効果的に適応できるか？
• RQ2 時間的間隔を符号化する時間特化プロンプトは、出来事の順序や期間に関する推論能力を向上させることができるか？
• RQ3 提案するプロンプトベースのマスク戦略は、一般化設定において従来のGNNベースやテンソル分解手法を上回るか？
• RQ4 モデルは、関係間の順序的依存性のような時間に依存する関係的パターンをどの程度効果的に捉えることができるか？

主な発見

• PPTは3つのベンチマークTKGデータセット（ICEWS14、ICEWS05-15、YAGO3-196K）でSOTA性能を達成し、ICEWS05-15ではMRRが38.85、ICEWS05-フィルタードサブセットではHits@10が59.31を記録した。
• アブレーションスタディの結果、時間プロンプトを削除してランダムなタイムスタンプを使用した場合、性能が低下し、モデルがプロンプトから意味的な時間的情報を学習していることが確認された。
• アテンション可視化の結果、モデルが欠落エンティティを予測する際に、関連する歴史的出来事や時間的キーワード（例：「日」、「次に」）に注目していることが示された。
• PPTは、明確な時間的順序を持つ139組の時間的依存関係を持つICEWS05-フィルタードデータセットにおいてもベースラインモデルを上回り、順序的関係的パターンの処理における強みを示した。
• タイムスタンプをランダム値に置き換えてもモデルの性能が安定していることから、性能向上はプロンプト設計に起因し、生のタイムスタンプの記憶によるものではないことが示された。