[論文レビュー] xERTE: Explainable Reasoning on Temporal Knowledge Graphs for Forecasting Future Links

Zhen Han, Peng Chen+2 more|arXiv (Cornell University)|Dec 31, 2020

Advanced Graph Neural Networks参考文献 44被引用数 18

ひとこと要約

xERTE は、時系列知識グラフにおける将来のリンク予測のための新しい説明可能な推論フレームワークであり、時系列関係的グラフアテンションメカニズムと逆表現更新方式を用いて、反復的にクエリ関連サブグラフを拡張する。20%の相対的向上を達成し、構造的サブグラフ推論と時刻に配慮したアテンションによって人間が理解可能な証拠を提供する。

ABSTRACT

Modeling time-evolving knowledge graphs (KGs) has recently gained increasing interest. Here, graph representation learning has become the dominant paradigm for link prediction on temporal KGs. However, the embedding-based approaches largely operate in a black-box fashion, lacking the ability to interpret their predictions. This paper provides a link forecasting framework that reasons over query-relevant subgraphs of temporal KGs and jointly models the structural dependencies and the temporal dynamics. Especially, we propose a temporal relational attention mechanism and a novel reverse representation update scheme to guide the extraction of an enclosing subgraph around the query. The subgraph is expanded by an iterative sampling of temporal neighbors and by attention propagation. Our approach provides human-understandable evidence explaining the forecast. We evaluate our model on four benchmark temporal knowledge graphs for the link forecasting task. While being more explainable, our model obtains a relative improvement of up to 20% on Hits@1 compared to the previous best KG forecasting method. We also conduct a survey with 53 respondents, and the results show that the evidence extracted by the model for link forecasting is aligned with human understanding.

研究の動機と目的

• 時系列知識グラフのリンク予測におけるブラックボックス埋め込みベースモデルの解釈不能性の問題に対処する。
• クエリ周辺のコンパクトで証拠を豊富に含むサブグラフを抽出することで、透明性があり人間が理解可能な推論を可能にする。
• 知識グラフ内の構造的依存関係と時系列的ダイナミクスをモデル化し、予測精度を向上させる。
• 新しく追加された過去の隣接エンティティからメッセージを受け取ることで、エンティティがサブグラフ内でメッセージをやり取りするようにすることで、人間の推論を模倣する。
• 予測性能を維持したまま、因果的かつ時刻制約のある推論を可能にするフレームワークを開発する。

提案手法

• クエリ時刻より前の時系列的隣接エンティティ（すなわち、過去にリンクされたもの）からのみメッセージを集約する時系列関係的グラフアテンション（TRGA）メカニズムを提案する。これにより因果関係が保たれる。
• 最も遠い過去の隣接エンティティからサブグラフ内のすべてのエンティティにメッセージを伝搬する逆表現更新方式を導入する。これにより動的信念の更新が可能になる。
• 静的エンティティ埋め込みと関数的時刻符号化を組み合わせたハイブリッドエンティティ埋め込みモジュールを用い、構造的および時系列的ダイナミクスをモデル化する。
• TRGAメカニズムからのアテンションスコアに従って、関連する辺をサンプリングし、低アテンション経路をプルーニングすることで、反復的にサブグラフを拡張する。
• サブグラフ全体にわたってアテンションを伝搬させることで、クエリ（主語、述語、？、時刻）における欠落した目的語を予測する推論経路を構築する。
• メッセージが以前の時刻から以降の時刻へのみ伝搬されることを保証することで、時系列的一致性を確保し、推論における因果順序を維持する。

実験結果

リサーチクエスチョン

• RQ1 サブグラフベースの推論フレームワークは、時系列知識グラフのリンク予測において、高い予測性能を達成すると同時に、人間が理解可能な説明を提供できるか？
• RQ2 時刻に配慮したアテンションメカニズムを組み込むことで、モデルの時系列的ダイナミクスおよび因果的依存関係の捉え方にはどの程度向上が見られるか？
• RQ3 逆表現更新方式は、遠く離れた過去の隣接エンティティからの新たな証拠をエンティティが組み込むことを可能にすることで、推論の完成度をどの程度向上させるか？
• RQ4 モデルが生成する説明は、人間の時系列的推論に関する直感や理解とどの程度一致するか？
• RQ5 時刻符号化の有無が、アテンションスコアおよび推論プロセスの解釈可能性にどのような影響を与えるか？

主な発見

• xERTE は、時系列知識グラフのリンク予測において、前回の最先端手法比で Hits@1 で最大20%の相対的向上を達成した。
• モデルが生成するサブグラフベースの説明は、53名の被験者による評価を通じて、人間の理解と強く一致しており、証拠の関連性と解釈可能性の両面で高い評価を受けた。
• 時刻符号化を用いることで、時刻に配慮したアテンションスコアは著しく解釈可能かつ時系列的に整合的になる。特に最近の出来事は高いアテンションスコアを示す。
• 時刻符号化がなければ、同じトリプルが異なる時刻で評価された場合、アテンションスコアはランダムかつ一貫性のないものとなり、解釈可能性が損なわれる。
• 逆表現更新方式により、新たに追加された過去の隣接エンティティからの証拠の伝搬がより効果的に行われ、推論の完全性が向上した。
• アブレーションスタディの結果、時刻符号化は時系列的ダイナミクスをモデル化するために不可欠であることが確認され、その除去により直感的でない、不安定なアテンションパターンが生じた。