[논문 리뷰] GNN Explainer: A Tool for Post-hoc Explanation of Graph Neural Networks

Rex Ying, Dylan Bourgeois외 3명|arXiv (Cornell University)|2019. 03. 10.

Explainable Artificial Intelligence (XAI)참고 문헌 49인용 수 69

한 줄 요약

GNN Explainer는 그래프 신경망의 예측을 최대 상호정보량 최적화를 통해 가장 영향력 있는 부분 그래프 구조와 노드 특징을 식별하는 모델에 종속되지 않는 방법이다. 이는 노드 및 그래프 분류, 링크 예측에 대해 국소적이고 인스턴스별 설명을 가능하게 하며, 합성 및 실세계 그래프에서 관련적인 위상적 구조를 부각하는 데 효과적임을 보여준다.

ABSTRACT

Graph Neural Networks (GNNs) are a powerful tool for machine learning on graphs. GNNs combine node feature information with the graph structure by using neural networks to pass messages through edges in the graph. However, incorporating both graph structure and feature information leads to complex non-linear models and explaining predictions made by GNNs remains to be a challenging task. Here we propose GnnExplainer, a general model-agnostic approach for providing interpretable explanations for predictions of any GNN-based model on any graph-based machine learning task (node and graph classification, link prediction). In order to explain a given node's predicted label, GnnExplainer provides a local interpretation by highlighting relevant features as well as an important subgraph structure by identifying the edges that are most relevant to the prediction. Additionally, the model provides single-instance explanations when given a single prediction as well as multi-instance explanations that aim to explain predictions for an entire class of instances/nodes. We formalize GnnExplainer as an optimization task that maximizes the mutual information between the prediction of the full model and the prediction of simplified explainer model. We experiment on synthetic as well as real-world data. On synthetic data we demonstrate that our approach is able to highlight relevant topological structures from noisy graphs. We also demonstrate GnnExplainer to provide a better understanding of pre-trained models on real-world tasks. GnnExplainer provides a variety of benefits, from the identification of semantically relevant structures to explain predictions to providing guidance when debugging faulty graph neural network models.

연구 동기 및 목표

• 노드 특징과 그래프 구조를 통합하는 비선형적인 복잡한 그래프 신경망의 예측을 해석하는 데 도전하는 것.
• 노드 분류, 그래프 분류, 링크 예측와 같은 다양한 그래프 기반 작업에 적용 가능한 일반적인 목적의 모델에 종속되지 않는 설명 방법을 개발하는 것.
• 의미 있는 의미적 하위구조와 관련 특징을 강조하는 단일 인스턴스 및 다중 인스턴스 설명을 가능하게 하는 것.
• 오작동하는 GNN 모델를 디버깅하고 모델 투명성을 향상시키기 위한 실질적인 통찰을 제공하는 것.

제안 방법

• 전체 GNN 모델의 예측과 단순화된 해석 모델의 예측 간 상호정보량을 최대화하는 최적화 문제로 GNN Explainer를 수식화하는 것.
• 주어진 입력 노드 또는 그래프에 대해 원본 모델의 예측과 국소적으로 충실한 부분 그래프 및 특징의 조합으로 해석 모델을 정의하는 것.
• 부분 그래프 선택 과정에 대해 미분 가능한 근사화를 사용하여 경사 하강법을 통한 엔드 투 엔드 최적화를 가능하게 하는 것.
• 예측을 유지하면서 복잡성을 최소화하는 희소한 부분 그래프와 특징 조합을 최적화하는 것.
• 단일 인스턴스 및 클래스 수준의 설명을 지원하는 동시에 노드 수준과 그래프 수준의 예측에 적용하는 것.
• 해석이 원본 모델의 행동과 충실하게 유지되도록 상호정보량 목적 함수를 활용하는 것.

실험 결과

연구 질문

• RQ1 GNN Explainer는 주어진 노드 또는 그래프에 대해 GNN의 예측에 기여하는 가장 관련성 있는 하위구조와 특징을 효과적으로 식별할 수 있는가?
• RQ2 노이즈가 있는 합성 그래프에서 GNN Explainer는 의미 있는 위상 패턴을 얼마나 잘 분리할 수 있는가?
• RQ3 GNN Explainer는 실세계 그래프 데이터셋에서 사전 학습된 GNN 모델의 이해를 어느 정도 향상시킬 수 있는가?
• RQ4 GNN Explainer는 오작동하는 GNN 아키텍처를 디버깅하고 향상시키는 데 유용한 통찰을 제공할 수 있는가?

주요 결과

• 노이즈가 있는 합성 그래프에서 GNN Explainer는 관련 있는 기초적인 위상적 구조를 성공적으로 식별하여 불필요한 간선과 특징에 대해 강건함을 보였다.
• 이 방법은 진정성 있고 의미적으로 유의미한 설명을 제공하며, 합성 데이터의 진정한 인과적 구조와 일치하였다.
• 실세계 데이터셋에서는 예측 작업의 알려진 또는 기대되는 특징과 관련된 해석 가능한 하위구조 패턴을 드러내었다.
• 이 방법은 오작동하는 GNN 모델에서 문제적 또는 허구적인 하위구조를 강조함으로써 효과적인 디버깅을 가능하게 하였다.
• 다중 인스턴스 설명은 특정 클래스의 노드들 사이에서 공통적인 구조적 모티프를 식별하여 모델 일반화 패턴에 대한 통찰을 제공하였다.
• 상호정보량 최적화 목적 함수는 입력 구조와 특징의 변화에 민감하며 안정적이고 충실한 설명을 이끌어내었다.