[論文レビュー] DAG Matters! GFlowNets Enhanced Explainer For Graph Neural Networks

Wenqian Li, Yinchuan Li+3 more|arXiv (Cornell University)|Mar 4, 2023

Advanced Graph Neural Networks被引用数 4

ひとこと要約

本稿では、GNNの解釈を段階的な部分グラフ生成問題に再定式化するGFlowNetベースの手法、GFlowExplainerを提案する。これにより、効率的でスケーラブルかつ忠実なGNN予測の解釈が可能になる。DAG構造と新規のカット頂点行列を活用することで、合成および実世界のデータセットにおいて、最先端の手法を上回るサンプル効率と性能を達成し、優れた忠実性とスパarsityを実現する。

ABSTRACT

Uncovering rationales behind predictions of graph neural networks (GNNs) has received increasing attention over the years. Existing literature mainly focus on selecting a subgraph, through combinatorial optimization, to provide faithful explanations. However, the exponential size of candidate subgraphs limits the applicability of state-of-the-art methods to large-scale GNNs. We enhance on this through a different approach: by proposing a generative structure -- GFlowNets-based GNN Explainer (GFlowExplainer), we turn the optimization problem into a step-by-step generative problem. Our GFlowExplainer aims to learn a policy that generates a distribution of subgraphs for which the probability of a subgraph is proportional to its' reward. The proposed approach eliminates the influence of node sequence and thus does not need any pre-training strategies. We also propose a new cut vertex matrix to efficiently explore parent states for GFlowNets structure, thus making our approach applicable in a large-scale setting. We conduct extensive experiments on both synthetic and real datasets, and both qualitative and quantitative results show the superiority of our GFlowExplainer.

研究の動機と目的

• 既存の組合せ最適化ベースのGNN解釈手法の非効率性とスケーラビリティの制限を解消すること。
• ツリー探索および強化学習ベースの手法における非最適なサンプリングと順序依存性を克服すること。
• 事前学習を必要とせず、効率的で忠実かつ人間が解釈可能な部分グラフをGNN予測に対して生成すること。
• グラフの連結性制約下でGFlowNetsの親状態探索を効率的に行うメカニズムを設計すること。
• 最先端のベースラインと比較して、忠実性、スパarsity、正確性の面で優れた性能を示すこと。

提案手法

• GNN解釈をGFlowNetsを用いた生成プロセスに再定式化し、部分グラフの確率をその報酬（例：予測との相互情報量）に比例させる。
• 同じ部分グラフを異なるノード順序で生成する経路を統一するために、GFlowNetsでDAG構造を採用し、サンプル効率を向上させる。
• 部分グラフ生成中に有効な親状態を効率的に同定するために、カット頂点行列を導入し、動的グラフにおける探索複雑度を低減する。
• 最小限の分散で高報酬部分グラフを生成する方策を学習するため、フローマッチング目的関数を採用する。
• ノード順序とエッジ追加ダイナミクスを活用して、段階的に連結部分グラフを構築し、GNNのメッセージパッシングメカニズムと整合させる。
• 生成された部分グラフを直接マスクとして使用し、生成順に応じた重要度重みを割り当てる。

実験結果

リサーチクエスチョン

• RQ1 GFlowNetsのような生成フレームワークは、組合せ最適化および強化学習手法を上回る性能を示せるか？
• RQ2 同じ部分グラフを異なる順序で生成する経路を統合することで、部分グラフ生成におけるサンプル効率をどのように向上させられるか？
• RQ3 カット頂点に基づく基準は、大規模GNN解釈におけるスケーラブルで効率的な親状態探索を可能にするか？
• RQ4 提案手法は、既存の最先端手法と比較して、より高い忠実性とスパarsityを達成するか？
• RQ5 GFlowNetsベースのアプローチは、離散的エッジベース手法と比較して、より直感的で連結的かつ人間が解釈可能な部分グラフを生成できるか？

主な発見

• BA-Shapeデータセットでは、GFlowExplainerが0.99の正確度を達成し、SubgraphXと同等で、DEGREE（0.94）を上回る。
• BA-Communityデータセットでは、GFlowExplainerが0.94の正確度を達成し、SubgraphX（0.93）と同等で、DEGREE（0.95）を上回る。
• 本手法は優れた忠実性とスパarsityを示し、定量的評価で解釈とモデル予測の間の強い整合性が確認された。
• Graph-SST2およびMUTAGにおける定性的な結果から、GFlowExplainerは連結的で意味的に意味のある部分グラフを生成しており、人間の直感と整合している。
• カット頂点行列により計算オーバーヘッドが低減され、トレーニングが高速化され、大規模な設定への効率的応用が可能になった。
• GFlowExplainerは事前学習の必要性を排除し、モンテカルロツリー探索の高分散性をフローマッチングと経路統合によって回避した。