[論文レビュー] Explaining Dynamic Graph Neural Networks via Relevance Back-propagation

Jiaxuan Xie, Yezi Liu+1 more|arXiv (Cornell University)|Jul 22, 2022

Advanced Graph Neural Networks被引用数 7

ひとこと要約

本稿では、出力から入力特徴量への寄与を追跡するために関連性逆伝播を用いる、動的グラフニューラルネットワーク（DGNN）を説明するための新規フレームワークDGExplainerを提案する。時間変動するグラフ上で、主要なノードを高忠実度、スパarsity、安定性を伴って特定することができ、PeMS04 や Enron といった実世界のデータセットにおいて、既存手法を上回る性能を発揮する。

ABSTRACT

Graph Neural Networks (GNNs) have shown remarkable effectiveness in capturing abundant information in graph-structured data. However, the black-box nature of GNNs hinders users from understanding and trusting the models, thus leading to difficulties in their applications. While recent years witness the prosperity of the studies on explaining GNNs, most of them focus on static graphs, leaving the explanation of dynamic GNNs nearly unexplored. It is challenging to explain dynamic GNNs, due to their unique characteristic of time-varying graph structures. Directly using existing models designed for static graphs on dynamic graphs is not feasible because they ignore temporal dependencies among the snapshots. In this work, we propose DGExplainer to provide reliable explanation on dynamic GNNs. DGExplainer redistributes the output activation score of a dynamic GNN to the relevances of the neurons of its previous layer, which iterates until the relevance scores of the input neuron are obtained. We conduct quantitative and qualitative experiments on real-world datasets to demonstrate the effectiveness of the proposed framework for identifying important nodes for link prediction and node regression for dynamic GNNs.

研究の動機と目的

• 動的グラフニューラルネットワーク（DGNN）の説明可能性手法の不足に取り組むこと。DGNNは急速に利用が拡大しているが、依然としてブラックボックスモデルのままである。
• 進化するグラフ構造における時間的依存関係を捉えられない既存の静的GNN説明手法の限界を克服すること。
• モデル忠実度と入力摂動に対して安定性を保つ、敵対的でない説明フレームワークを構築すること。
• 時間とグラフ構成要素にわたる関連性スコアの分解により、DGNN予測の信頼性ある解釈を可能にすること。

提案手法

• 出力活性化スコアを層ごとの関連性伝播（LRP）を介して入力特徴量に再配分する逆伝播メカニズムを提案する。
• DGNNの予測を時系列関連モジュールとグラフ関連モジュールに分解し、それぞれ別々に関連性を計算する。
• 最終層からGRUおよびGCN部品を経て関連性スコアを逆伝播し、各タイムスタンプにおけるノード特徴量の重要性を割り当てる。
• 時間ステップにわたる関連性スコアを統合し、時間的依存関係を反映する包括的な説明を生成する。
• 関連性伝播の安定化のため、固定されたイプシロン（ε = 0.0001）を用いることでゼロ除算の問題を回避する。
• 動的グラフデータにおけるリンク予測およびノード回帰タスクの両方に対して、このフレームワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 時間経過に伴い変化する動的GNNの予測を信頼性高く説明する方法は何か？
• RQ2 関連性逆伝播は、動的グラフにおけるノード重要度の時間的変化を効果的に捉えられるか？
• RQ3 忠実度、スパarsity、安定性という観点から、提案手法は既存の説明ベースラインと比べてどのように差をつけるか？
• RQ4 小さな入力摂動に対してもモデル忠実度を保ちつつ、説明フレームワークはどれほど頑健であるか？
• RQ5 本手法は、グラフスナップショットにわたるノード寄与の意味のある時間依存的パターンを特定できるか？

主な発見

• DGExplainerは、多数のデータセットで最高の忠実度スコアを達成し、上位k個の重要ノードをマスクした際の予測精度の維持において最良の性能を示した。
• 本手法は最高のスパarsityを達成しており、モデル予測に寄与する最小限の重要なノードの特定に効果的であることが示された。
• 安定性評価において、DGExplainerはGrad × Input（0.211 対 0.286 平均）を上回り、SAと同等の性能を示したが、一部のケースではSAほど優れてはいなかった。
• PeMS04における定性的な可視化では、DGExplainerがt=1およびt=2でノード7が顕著に影響力があることを正しく特定しており、t=2で交通パターンの変化に伴いノード8が顕著に顕在化していることも示している。
• フレームワークは時間依存性を効果的に表現しており、タイムスタンプにわたる関連性スコアの変化が、進化するグラフダイナミクスを的確に反映している。
• 6つの実世界データセットにおける実験結果から、DGExplainerがリンク予測およびノード回帰タスクの両方において忠実度高く、スパースかつ安定した説明を提供することが確認された。