[論文レビュー] Explain Graph Neural Networks to Understand Weighted Graph Features in Node Classification

Xiaoxiao Li, João Saúde|arXiv (Cornell University)|Feb 2, 2020

Advanced Graph Neural Networks参考文献 18被引用数 4

ひとこと要約

この論文は、重み付き有向グラフにおけるノード分類タスクにおいて、情報的なコンポONENT（エッジパターン）とノード特徴量の重要度を特定することで、グラフニューラルネットワーク（GNN）の意思決定を説明する新しいフレームワークを提案する。後処理による説明手法（MMIマスクおよびGGD）に加え、トポロジー的要因と特徴量ベースの要因を分離するパイプラインを導入し、合成データおよびPubMedやBitcoin OTCなどの実世界データセットにおいて、説明が人間の推論と整合することを示した。

ABSTRACT

Real data collected from different applications that have additional topological structures and connection information are amenable to be represented as a weighted graph. Considering the node labeling problem, Graph Neural Networks (GNNs) is a powerful tool, which can mimic experts' decision on node labeling. GNNs combine node features, connection patterns, and graph structure by using a neural network to embed node information and pass it through edges in the graph. We want to identify the patterns in the input data used by the GNN model to make a decision and examine if the model works as we desire. However, due to the complex data representation and non-linear transformations, explaining decisions made by GNNs is challenging. In this work, we propose new graph features' explanation methods to identify the informative components and important node features. Besides, we propose a pipeline to identify the key factors used for node classification. We use four datasets (two synthetic and two real) to validate our methods. Our results demonstrate that our explanation approach can mimic data patterns used for node classification by human interpretation and disentangle different features in the graphs. Furthermore, our explanation methods can be used for understanding data, debugging GNN models, and examine model decisions.

研究の動機と目的

• 重み付き有向グラフにおいて、ノード特徴量とエッジ特徴量の両方が分類に影響を与える状況でのGNN意思決定の説明という課題に取り組むこと。
• GNN予測において最も影響力のあるグラフコンポONENT（エッジおよびノード特徴量）を特定する後処理による説明手法を開発すること。
• トポロジー的構造とノード特徴量のどちらがGNN分類の主な駆動要因であるかを分離するパイプラインを構築すること。
• 実データおよび合成データセット上で一貫性、対照性、スパarsityという指標を用いて、説明の質を定量的に評価すること。
• 説明が人間の解釈と整合しており、デバッグ、信頼構築、特徴量工学の支援に役立つことを検証すること。

提案手法

• 情報的コンポonent検出（エッジパターンに注目）とノード特徴量の重要度（特徴量の関連性に注目）の2つの説明視点を提案する。
• エッジ重みとノード特徴量を有する重み付き有向グラフに適応した、CNNの可視化技術（例：Grad-CAM、LRP）をGNNに適用する。
• 2つの説明手法を導入：MMIマスク（最大意味的サブグラフ）とGGD（勾配ベースのグラフ分離）で、重要なサブグラフと特徴量寄与度を同定する。
• 距離マップと類似度マップを用いて、分類意思決定におけるトポロジー（接続パターン）とノード特徴量の役割を分離する。
• 一貫性（クラス内類似度）、対照性（クラス間差異）、スパarsity（高重要度エッジの少数）という評価指標を含むパイプラインを採用し、説明の質を検証する。
• GNNをノード分類タスクに訓練した4つのデータセット（2つの合成データ：SynComp、SynNode と 2つの実データ：PubMed、Bitcoin OTC）にフレームワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 重み付き有向グラフにおけるGNNのノード分類意思決定において、どのエッジパターンとノード特徴量が最も影響力を持つのか？
• RQ2 説明手法は、グラフ構造と特徴量重要度に関する人間の推論と整合するコンポonentを特定できるか？
• RQ3 異なるグラフタイプにおいて、GNN分類の主な要因はトポロジー的構造かノード特徴量か？
• RQ4 グラフレベルの解釈可能性において、説明の質をどのように定量的に評価できるか？
• RQ5 分離可能な説明は、ノードクラス間の類似性や識別可能なパターンを明らかにできるか？

主な発見

• PubMedデータセットでは、GGD手法が一貫性スコア2.14、対照性2.07、スパarsity 0.049を達成し、高品質でスパースな説明であることを示した。
• Bitcoin OTCデータセットでは、MMIマスク手法が一貫性1.81、対照性2.45、スパarsity 0.132を達成し、優れた識別性能を示した。
• 距離マップから、SynCompではトポロジーが主な要因（クラス内距離が小さい）であることが判明したのに対し、SynNodeとPubMedではノード特徴量が支配的であった。
• 類似度マップから、SynNodeとPubMedではクラス内類似度が顕著に高く、両データセットでノード特徴量が主な分類信号であることが確認された。
• MMIマスクが検出した情報的コンポonentは、人間が定義したルールと一致した：危険なノードは負の評価、信頼できるノードは高い正の評価、中立なノードは多数の評価1を示した。
• 説明パイプラインは、トポロジーと特徴量の寄与度を成功裏に分離でき、GNN意思決定のデバッグと透明性向上に貢献した。