[論文レビュー] Interpreting and Understanding Graph Convolutional Neural Network using Gradient-based Attribution Method

Shangsheng Xie, Mingming Lu|arXiv (Cornell University)|Mar 9, 2019

Advanced Graph Neural Networks被引用数 7

ひとこと要約

本稿では、グラフ畳み込みネットワーク（GCNs）の解釈を可能にする勾配ベースの帰属割り当て手法、ノード帰属法（NAM）を提案する。NAMは、モデル予測への中心ノードおよびその近隣ノードの寄与度を定量的に評価することで、ノードの重要度可視化（NIV）を通じてより包括的なモデル解釈を可能にする。従来の手法が中心ノード特徴のみに注目するのに対し、NAMはノード特徴とグラフ構造の共同的影響を捉えることで、より包括的なモデル解釈を実現する。

ABSTRACT

To solve the problem that convolutional neural networks (CNNs) are difficult to process non-grid type relational data like graphs, Kipf et al. proposed a graph convolutional neural network (GCN). The core idea of the GCN is to perform two-fold informational fusion for each node in a given graph during each iteration: the fusion of graph structure information and the fusion of node feature dimensions. Because of the characteristic of the combinatorial generalizations, GCN has been widely used in the fields of scene semantic relationship analysis, natural language processing and few-shot learning etc. However, due to its two-fold informational fusion involves mathematical irreversible calculations, it is hard to explain the decision reason for the prediction of the each node classification. Unfortunately, most of the existing attribution analysis methods concentrate on the models like CNNs, which are utilized to process grid-like data. It is difficult to apply those analysis methods to the GCN directly. It is because compared with the independence among CNNs input data, there is correlation between the GCN input data. This resulting in the existing attribution analysis methods can only obtain the partial model contribution from the central node features to the final decision of the GCN, but ignores the other model contribution from central node features and its neighbor nodes features to that decision. To this end, we propose a gradient attribution analysis method for the GCN called Node Attribution Method (NAM), which can get the model contribution from not only the central node but also its neighbor nodes to the GCN output. We also propose the Node Importance Visualization (NIV) method to visualize the central node and its neighbor nodes based on the value of the contribution...

研究の動機と目的

• GCNsにおける二段階の情報統合処理で生じる不可逆的な数学的演算のため、解釈不能性が生じる問題を解決すること。
• 従来の帰属割り当て手法が、GCNsにおける中心ノードとその近隣ノード間の特徴相関を十分に考慮できないという限界を克服すること。
• 中心ノードおよび近隣ノード特徴の両方がGCN予測に与える寄与度を完全に捉える手法を開発すること。
• ノードの重要度可視化（NIV）という新しい可視化技術を用いて、モデル意思決定の視覚的解釈を可能にすること。

提案手法

• GCNsに特化した勾配ベースの帰属割り当て技術として、ノード帰属法（NAM）を提案し、出力予測への特徴寄与度を計算する。
• 出力予測の入力ノード特徴に関する勾配を計算することで、中心ノードおよび近隣ノードの両方の影響を捉える。
• 構造的依存関係を考慮し、勾配ベースの帰属割り当てを中心ノードだけでなくその近隣ノードに対しても適用する。
• 計算された帰属スコアを中央ノードおよびその近隣ノードにわたって視覚的に表現するため、ノードの重要度可視化（NIV）を導入する。
• ノード特徴に関する損失関数の勾配を用いて、各ノードの寄与度の重要度を定量的に評価する。
• CNNの独立入力とは異なる、GCNsの相関入力構造を扱えるよう、標準的な帰属割り当て手法を拡張する。

実験結果

リサーチクエスチョン

• RQ1 グラフデータに内在する構造的依存関係を考慮すると、中心ノードとその近隣ノードへのモデル予測の帰属割り当てをどのように正確に実現できるか？
• RQ2 相関するノード特徴を持つGCNsに適用した場合、従来の勾配ベースの帰属割り当て手法にどのような限界があるか？
• RQ3 統一された帰属割り当て手法は、中心ノードのみに注目する手法よりも、ノードとその近隣ノードの共同寄与度をGCN予測により効果的に捉えられるか？
• RQ4 GCN意思決定におけるノードおよびその近隣ノードの相対的重要度をどのように視覚的に表現できるか？
• RQ5 提案手法は、従来のGCNs向け帰属割り当て技術に比べて、解釈性をどの程度向上させるか？

主な発見

• 提案されたノード帰属法（NAM）は、中心ノードとその近隣ノードの両方の寄与度を効果的に捉えることができ、中心ノード特徴のみを考慮する手法の限界を克服した。
• ノード特徴とグラフ構造の相関関係を考慮することで、NAMはGCN意思決定のより包括的な理解を可能にする。
• ノードの重要度可視化（NIV）は、重要なノードおよびその近隣ノードを効果的に強調し、モデル挙動に対する直感的な洞察を提供する。
• 近隣ノードの影響を組み込むことで、標準的な勾配ベースの帰属割り当て手法に比べて解釈性が向上している。
• 構造的文脈が重要な分類タスク（例：ノード分類）において、GCN予測の分析をより良く可能にする。
• 実験結果から、NAMはグラフ内の期待される構造的関係と整合する、意味のある特徴重要度のパターンを明らかにした。