[論文レビュー] TempME: Towards the Explainability of Temporal Graph Neural Networks via Motif Discovery

Jialin Chen, Rex Ying|arXiv (Cornell University)|Oct 30, 2023

Advanced Graph Neural Networks被引用数 8

ひとこと要約

TempMEは、情報ボトルネック枠組みを介して cohesive な時間モチーフを発見することでTGNNを説明し、説明 fidelity を向上させ、予測性能を高める可能性がある。

ABSTRACT

Temporal graphs are widely used to model dynamic systems with time-varying interactions. In real-world scenarios, the underlying mechanisms of generating future interactions in dynamic systems are typically governed by a set of recurring substructures within the graph, known as temporal motifs. Despite the success and prevalence of current temporal graph neural networks (TGNN), it remains uncertain which temporal motifs are recognized as the significant indications that trigger a certain prediction from the model, which is a critical challenge for advancing the explainability and trustworthiness of current TGNNs. To address this challenge, we propose a novel approach, called Temporal Motifs Explainer (TempME), which uncovers the most pivotal temporal motifs guiding the prediction of TGNNs. Derived from the information bottleneck principle, TempME extracts the most interaction-related motifs while minimizing the amount of contained information to preserve the sparsity and succinctness of the explanation. Events in the explanations generated by TempME are verified to be more spatiotemporally correlated than those of existing approaches, providing more understandable insights. Extensive experiments validate the superiority of TempME, with up to 8.21% increase in terms of explanation accuracy across six real-world datasets and up to 22.96% increase in boosting the prediction Average Precision of current TGNNs.

研究の動機と目的

• Temporal Graph Neural Networks (TGNNs) における説明可能性の必要性を動機づける。
• 説明のための cohesive で解釈可能な構成要素として temporal motifs を導入する。
• Nullモデルを用いてモチーフの有意性を測定する IB ベースの explainer TempME を開発する。
• モチーフベースの説明が fidelity を改善し、TGNNの予測性能を向上させ得ることを示す。
• 時系列モチーフを抽出・符号化するスケーラブルなサンプリングベースのフレームワークを提供する。

提案手法

• 問合せエッジの周辺の retrospective な時間モチーフをサンプリングする。
• モチーフごとにイベント匿名化・メッセージパッシング・時刻認識プーリングを用いた Motif Encoder でエンコードする。
• 説明精度と圧縮のバランスをとる情報ボトルネック目的でモチーフ重要度スコアを計算する。
• モチーフ分布を比較する null モデルを取り入れ、KL発散ベースの正則化項を導出する。
• 連続可能な訓練のために Concrete 緩和を用い、 cohesive な説明を生成する Bernoulli マスキングを行う。
• 六つの実データセットに渡って三つの TGNN Backbones（TGAT、TGN、GraphMixer）で説明を評価する。

実験結果

リサーチクエスチョン

• RQ1 未来の相互作用を予測する際に、どの時間モチーフが TGNN の予測に最も影響を与えるか。
• RQ2 モチーフベースの説明は忠実度を犠牲にすることなく cohesive かつ人間に解釂可能か。
• RQ3 null モデルの組み込みはモチーフベースの説明の信頼性を向上させるか。
• RQ4 モチーフ指向の説明は TGNN のバックボーン全体でリンク予測性能の向上と相関するか。

主な発見

• TempME は六つの実データセット全体で説明精度を最大 8.21% 向上。
• TempME は TGNN の予測平均精度 (AP) の向上を最大で 22.96% 改善。
• 時間モチーフはベースラインと比較してより cohesive で解釈可能な説明を可能にする。
• TempME は属性の有無にかかわらずデータセット全体で強い説明性を維持する。
• この手法は全六データセットで TGN の説明に関する ACC-AUC の最先端結果を提供。
• モチーフベースの説明は特定の設定で TGNN の予測性能を高めることもある。