[논문 리뷰] Parameterized Explainer for Graph Neural Network

Dongsheng Luo, Wei Cheng외 5명|arXiv (Cornell University)|2020. 11. 09.

Advanced Graph Neural Networks인용 수 211

한 줄 요약

PGExplainer 제안은 GNN에 대해 매개변수화된, 글로벌하게 학습된 explainer로, 공유된 edge-분포 모델을 학습시켜 여러 인스턴스에 걸친 예측을 설명하고, 최첨단 설명 품질과 인스턴스별 방법에 비해 상당한 속도 향상을 달성한다.

ABSTRACT

Despite recent progress in Graph Neural Networks (GNNs), explaining predictions made by GNNs remains a challenging open problem. The leading method independently addresses the local explanations (i.e., important subgraph structure and node features) to interpret why a GNN model makes the prediction for a single instance, e.g. a node or a graph. As a result, the explanation generated is painstakingly customized for each instance. The unique explanation interpreting each instance independently is not sufficient to provide a global understanding of the learned GNN model, leading to a lack of generalizability and hindering it from being used in the inductive setting. Besides, as it is designed for explaining a single instance, it is challenging to explain a set of instances naturally (e.g., graphs of a given class). In this study, we address these key challenges and propose PGExplainer, a parameterized explainer for GNNs. PGExplainer adopts a deep neural network to parameterize the generation process of explanations, which enables PGExplainer a natural approach to explaining multiple instances collectively. Compared to the existing work, PGExplainer has better generalization ability and can be utilized in an inductive setting easily. Experiments on both synthetic and real-life datasets show highly competitive performance with up to 24.7\% relative improvement in AUC on explaining graph classification over the leading baseline.

연구 동기 및 목표

• GNNs에 대한 인스턴스별, 로컬한 설명이 아닌 글로벌하고 귀속이 가능한 설명의 필요성을 동기부여한다.
• 인스턴스 간 매개변수를 공유하는 매개변수화 Explainer를 제안하여 집단적 설명을 가능하게 한다.
• 확률적 그래프 모델을 사용해 간섭(설명)들을 edge 분포로 모델링하고 신경망으로 학습시킨다.
• 합성 및 실제 데이터셋에서 baselines에 비해 우수한 설명 품질과 더 빠른 추론을 입증한다.

제안 방법

• 설명 부분그래프 Gs를 GNN의 Yo에 대한 예측 정보를 최대한 보존하는 구조로 정의한다.
• 에지 선택을 Gilbert 랜덤 그래프로 완화하고 edge eij ~ Bern(theta_ij)로 표본화하며 재매개(trick)으로 상호정보를 최적화한다.
• 미분 가능 최적화를 위한 온도 tau를 갖는 이항 콘크리트 분포를 사용해 hat{Gs}를 샘플링한다.
• 공유 Explainer 네트워크 g_Psi(Go, Z)를 통해 Omega의 에지 선택 로짓을 매개변수화하고, 노드 표현 Z를 입력으로 받는다.
• 노드 분류의 경우 omega_ij = MLP_Psi([z_i; z_j; z_v]); 그래프 분류의 경우 omega_ij = MLP_Psi([z_i; z_j]).
• 샘플링된 그래프들에 대해 원래 예측 Yo와 예측된 hat{Ys} 사이의 교차 엔트로피를 최적화하여 Psi를 학습한다.

실험 결과

연구 질문

• RQ1 매개변수화된 Explainer가 다수의 그래프 인스턴스와 설정(전이적(transductive) 및 귀속적(inductive))에 걸쳐 일반화되는 설명을 학습할 수 있는가?
• RQ2 글로벌 Explainer가 인스턴스별 방법에 비해 현저한 효율성 향상을 가져오며 더 나은 혹은 비슷한 설명 품질을 제공하는가?
• RQ3 노드 수준 분류와 그래프 수준 분류 작업에서 설명 품질과 속도 측면에서 PGExplainer의 성능은 어떤가?

주요 결과

Model	BA-Shapes	BA-Community	Tree-Cycles	Tree-Grid	BA-2motifs	MUTAG
GNNExplainer	0.925	0.836	0.948	0.875	0.742	0.727
PGExplainer	0.963 ± 0.011	0.945 ± 0.019	0.987 ± 0.007	0.907 ± 0.014	0.926 ± 0.021	0.873 ± 0.013
Improve	4.1%	13.0%	4.1%	3.7%	24.7%	11.5%
Inference Time (ms)	650.60	696.61	690.13	713.40	934.72	409.98
PGExplainer (inference)	10.92	24.07	6.36	6.72	80.13	9.68
Speed-up	59x	29x	108x	106x	12x	42x

• PGExplainer는 baselines에 비해 최첨단 설명 AUC 향상을 달성하며, 그래프 분류에서 최대 24.7%, 노드 분류에서 최대 13.0%의 향상을 보인다.
• 설명 네트워크가 인스턴스 간에 공유되어 재학습 없이도 귀속적 설명이 가능하고 상당한 속도 향상을 가져온다.
• 합성 및 실제 데이터셋에서 PGExplainer는 예측을 주도하는 모티프 유사 부분구조를 일관되게 식별한다(예: MUTAG의 NO2 그룹).
• 새로운 인스턴스를 설명하는 추론 시간은 GNNExplainer가 필요한 재학습에 비해 현저히 더 빠르다(예: 최대 108배 더 빠름).
• 글로벌 설명은 GNN의 결정에 대한 응집력 있는 집단 수준 관점을 제공하고, 인스턴스 단위 설명보다 일반화 성능을 향상시킨다.