[論文レビュー] XAI for Graphs: Explaining Graph Neural Network Predictions by Identifying Relevant Walks

Thomas Schnake, Oliver Eberle+5 more|arXiv (Cornell University)|Jun 5, 2020

Advanced Graph Neural Networks参考文献 11被引用数 25

ひとこと要約

本稿では、高次テイラー展開と複数回のバックプロパゲーションを用いて、入力グラフ上の関連するウォークに予測を分解する、グラフニューラルネットワーク（GNN）向けの新規XAI手法GNN-LRPを提案する。標準の勾配伝播に代えて層ごとの関連性伝播を採用することで、分子グラフや画像ラティスを含む多様なグラフタイプにおいて、安定的で正確かつ解釈可能な説明を提供する。

ABSTRACT

Graph Neural Networks (GNNs) are a popular approach for predicting graph structured data. As GNNs tightly entangle the input graph into the neural network structure, common explainable AI (XAI) approaches are not applicable. To a large extent, GNNs have remained black-boxes for the user so far. In this paper, we contribute by proposing a new XAI approach for GNNs. Our approach is derived from high-order Taylor expansions and is able to generate a decomposition of the GNN prediction as a collection of relevant walks on the input graph. We find that these high-order Taylor expansions can be equivalently (and more simply) computed using multiple backpropagation passes from the top layer of the GNN to the first layer. The explanation can then be further robustified and generalized by using layer-wise-relevance propagation (LRP) in place of the standard equations for gradient propagation. Our novel method which we denote as 'GNN-LRP' is tested on scale-free graphs, sentence parsing trees, molecular graphs, and pixel lattices representing images. In each case, it performs stably and accurately, and delivers interesting and novel application insights.

研究の動機と目的

• グラフ構造データの応用におけるユーザーの信頼性と解釈可能性を制限する、グラフニューラルネットワーク（GNN）のブラックボックス性に対処すること。
• GNNに特化した解釈可能AI（XAI）アプローチの開発。標準のXAI手法ではGNNにおける構造的エンタングルメントを考慮できないという限界を克服すること。
• GNNの予測を意味のある、人間が解釈可能な成分（具体的には入力グラフ上の関連するウォーク）に分解できることを可能にすること。
• 層ごとの関連性伝播（LRP）を勾配計算プロセスに統合することで、説明のロバスト性と一般化性能を向上させること。

提案手法

• 本手法は、GNN出力の入力グラフに関する高次テイラー展開に基づく。これにより、予測が個々のウォークからの寄与に分解可能となる。
• これらの高次展開は、最終GNN層から入力層へと複数回のバックプロパゲーションパスを用いて、効率的に計算される。
• 標準の勾配ベースの関連性配分の代わりに、層ごとの関連性伝播（LRP）が適用され、説明の安定性とロバスト性が向上する。
• 得られた関連性スコアは、グラフ内のウォークに割り当てられ、GNNの最終予測に最も寄与するものに強調される。
• 本手法は、スケールフリー・ネットワーク、文解析ツリー、分子グラフ、ピクセルラティスを含む、さまざまなグラフタイプに一般化可能に設計されている。
• 説明は、予測への寄与度に基づいて、最も関連性の高いウォークを特定・ランク付けすることで生成される。

実験結果

リサーチクエスチョン

• RQ1 高次テイラー展開を用いて、グラフ構造データにおけるGNN予測を解釈可能なウォークベースの成分に効果的に分解できるか？
• RQ2 複数回のバックプロパゲーションパスをどのように活用して、これらの展開を効率的かつ正確に計算できるか？
• RQ3 標準の勾配伝播を層ごとの関連性伝播（LRP）に置き換えることで、GNNの説明の安定性と信頼性がどの程度向上するか？
• RQ4 GNN-LRPが生成する説明は、分子グラフ、文解析ツリー、画像ラティスなどの多様なグラフタイプにおいて、どのように性能を発揮するか？
• RQ5 本手法は、標準の解釈技術では明らかでない、GNNの挙動に関する新たな意味のある洞察を明らかにできるか？

主な発見

• GNN-LRPは、GNNの予測を入力グラフ上の関連するウォークの集合に成功して分解し、解釈可能で人間が読みやすい説明を提供した。
• 本手法は、スケールフリー・グラフ、分子グラフ、画像を表すピクセルラティスを含む、複数のグラフタイプにおいて安定的かつ正確な説明を達成した。
• 層ごとの関連性伝播（LRP）の統合により、標準の勾配ベース手法と比較して、説明のロバスト性と一般化性能が顕著に向上した。
• 本手法は、特に分子グラフ解析および自然言語解析タスクにおいて、新たな意味のある応用的洞察を明らかにした。
• 高次テイラー展開の使用により、グラフ構造内の高次相互作用を捉えることで、GNN挙動のより洗練された理解が可能になった。
• 本手法は、多様なベンチマークで一貫した性能を示しており、実世界のグラフ構造予測タスクへの一般化可能性が裏付けられた。