[논문 리뷰] MotifExplainer: a Motif-based Graph Neural Network Explainer

Zhaoning Yu, Hongyang Gao|arXiv (Cornell University)|2022. 02. 01.

Explainable Artificial Intelligence (XAI)인용 수 6

한 줄 요약

MotifExplainer는 기존의 노드나 엣지 수준의 설명 방식을 넘어서 반복적으로 나타나고 통계적으로 유의미한 모티프를 주요 설명 단위로 사용하는 새로운 모델에 종속되지 않는 GNN 해석기이다. 도메인 특화 모티프를 추출하고, 사전 훈련된 GNN을 통해 인코딩하며, 어텐션 메커니즘을 활용해 예측 중요도를 순위 매김함으로써, 기존의 노드-, 엣지-, 하위그래프 수준의 해석기들에 비해 더 뛰어난 해석 가능성과 효율성을 달성한다. MUTAG에서 추론 시간은 0.03초 이하, 훈련 시간은 400초 이하이다.

ABSTRACT

We consider the explanation problem of Graph Neural Networks (GNNs). Most existing GNN explanation methods identify the most important edges or nodes but fail to consider substructures, which are more important for graph data. The only method that considers subgraphs tries to search all possible subgraphs and identify the most significant subgraphs. However, the subgraphs identified may not be recurrent or statistically important. In this work, we propose a novel method, known as MotifExplainer, to explain GNNs by identifying important motifs, recurrent and statistically significant patterns in graphs. Our proposed motif-based methods can provide better human-understandable explanations than methods based on nodes, edges, and regular subgraphs. Given an input graph and a pre-trained GNN model, our method first extracts motifs in the graph using well-designed motif extraction rules. Then we generate motif embedding by feeding motifs into the pre-trained GNN. Finally, we employ an attention-based method to identify the most influential motifs as explanations for the final prediction results. The empirical studies on both synthetic and real-world datasets demonstrate the effectiveness of our method.

연구 동기 및 목표

• 기존 GNN 해석기가 노드나 엣지에 집중함으로써 고차원의 구조적 패턴을 포착하지 못하는 한계를 해결하고자 한다. 이러한 패턴은 그래프 해석에 있어 핵심적이다.
• 임의적이거나 대표성이 없는 하위그래프가 아니라 반복적이고 통계적으로 유의미한 부분 구조(모티프)를 식별함으로써 GNN 예측의 인간 이해 가능성을 향상시키고자 한다.
• 모델에 종속되지 않는 효율적인 설명 프레임워크를 개발하여, 확장 가능하고 해석 가능한 GNN 설명을 위해 모티프 수준의 어텐션을 활용하고자 한다.
• 약물 발견과 같은 분야에서 실용적인 응용을 가능하게 하기 위해, GNN 예측에서 설명 가능하고 재사용 가능한 프ragment 라이브러리를 생성하고자 한다.

제안 방법

• 모티프 추출은 도메인 특화 규칙에 기반한 전문 지식을 활용하여 입력 그래프 내에서 반복적인 하위그래프 패턴을 식별함으로써 수행된다.
• 각 추출된 모티프는 사전 훈련된 GNN의 특징 추출기로 임베딩되어 구조적 및 특징 정보를 유지한다.
• 어텐션 기반 모델을 훈련시켜 모티프가 GNN의 최종 예측에 기여하는 정도에 따라 중요도 점수를 할당한다.
• 어텐션 가중치에 따라 상위 순위의 모티프가 최종 설명으로 선택되며, 이는 GNN의 결정을 간결하고 인간이 이해할 수 있는 요약으로 제공한다.
• 이 방법은 모델에 종속되지 않으며 GNN 재훈련이 필요 없어, 사전 훈련된 GNN 모델이라면 어떤 모델에도 적용 가능하다.
• 훈련 과정은 모티프 추출, 모티프 임베딩 구축, 어텐션 모델 훈련을 포함하며, 추론은 매우 효율적이다.

실험 결과

연구 질문

• RQ1 모티프 기반 설명은 GNN에서 노드 또는 엣지 수준의 설명보다 더 해석 가능하고 인간이 이해하기 쉬운 통찰을 제공할 수 있는가?
• RQ2 반복적이고 통계적으로 유의미한 모티프를 식별하는 것이, 무작위 하위그래프 식별에 비해 더 신뢰성 있고 일반화 가능한 설명을 이끌어낼 수 있는가?
• RQ3 어텐션 메커니즘이 GNN 결정의 예측 관련성에 따라 모티프를 효과적으로 순위 매길 수 있는가?
• RQ4 기존 최첨단 GNN 해석기들과 비교했을 때, 모티프 기반 설명의 효율성(훈련 및 추론 시간 측면)은 어떠한가?

주요 결과

• MotifExplainer는 비교된 모든 방법들 중에서 가장 빠른 추론 시간을 기록했으며, MUTAG 데이터셋에서 그래프당 평균 0.02초의 시간이 소요되었다.
• PGExplainer(363s 대 740s)와 ReFine(363s 대 946s)에 비해 훨씬 적은 훈련 시간을 요구하여 훈련 효율성이 향상됨을 입증했다.
• 합성 및 실세계 데이터셋에서 MotifExplainer는 GNNExplainer, PGExplainer, SubgraphX, ReFine보다 더 정확하고 질적으로 뛰어난 설명을 생성했다.
• 어텐션 기반 모티프 선택은 특히 모티프 재사용이 핵심적인 약물 발견 관련 작업에서 더 일관되고 해석 가능한 설명을 이끌어냈다.
• 실험 결과, 반복적이거나 통계적으로 유의미하지 않은 하위그래프 기반 설명에 비해, 모티프 기반 설명은 더 안정적이고 의미적으로 더 풍부한 것으로 확인되었다.