[논문 리뷰] Interpretable Prototype-based Graph Information Bottleneck

Sang‐Woo Seo, Sungwon Kim외 1명|arXiv (Cornell University)|2023. 10. 30.

Explainable Artificial Intelligence (XAI)인용 수 8

한 줄 요약

PGIB는 프로토타입 학습을 Graph Information Bottleneck과 통합하여 GNN 예측에 필요한 핵심 부분그래프를 식별하고, 정확도와 설명가능성을 향상시킵니다.

ABSTRACT

The success of Graph Neural Networks (GNNs) has led to a need for understanding their decision-making process and providing explanations for their predictions, which has given rise to explainable AI (XAI) that offers transparent explanations for black-box models. Recently, the use of prototypes has successfully improved the explainability of models by learning prototypes to imply training graphs that affect the prediction. However, these approaches tend to provide prototypes with excessive information from the entire graph, leading to the exclusion of key substructures or the inclusion of irrelevant substructures, which can limit both the interpretability and the performance of the model in downstream tasks. In this work, we propose a novel framework of explainable GNNs, called interpretable Prototype-based Graph Information Bottleneck (PGIB) that incorporates prototype learning within the information bottleneck framework to provide prototypes with the key subgraph from the input graph that is important for the model prediction. This is the first work that incorporates prototype learning into the process of identifying the key subgraphs that have a critical impact on the prediction performance. Extensive experiments, including qualitative analysis, demonstrate that PGIB outperforms state-of-the-art methods in terms of both prediction performance and explainability.

연구 동기 및 목표

• 그래프에서 핵심 부분구조를 식별하기 위한 설명 가능한 GNN 동기 부여.
• 핵심 부분그래프를 포착하기 위해 Graph Information Bottleneck에 프로토타입 학습을 통합.
• 예측 가능한 부분구조와 일치하는 해석 가능한 프로토타입을 가능하게 한다.
• 최첨단 방법에 비해 분류 성능과 설명가능성의 개선을 입증한다.

제안 방법

• 프로토타입 및 서브그래프 수준 정보를 포함하도록 GIB 목표를 재정의한다.
• 확률적 마스킹을 통해 I(G; G_sub)의 상호정보를 최소화하는 서브그래프 추출층을 사용한다.
• 고정된 수의 클래스별 프로토타입과 유사도 기반 점수 매기기 메커니즘을 갖춘 프로토타입 층을 도입한다.
• 분류, IB 용어, 연결성 정규화 항을 포함한 결합 손실을 최적화한다.
• 유사한 프로토타입을 병합하고 해석 가능성을 위해 훈련 서브그래프에 프로토타입을 투영한다.

실험 결과

연구 질문

• RQ1 프로토타입을 그래프 정보 병목에 통합하여 핵심 서브그래프에 초점을 맞추려면 어떻게 해야 하는가?
• RQ2 PGIB가 베이스라인 대비 예측 정확도와 설명의 해석 가능성 모두를 개선하는가?
• RQ3 마스킹, 프로토타입 유사도, 병합 등 어떤 메커니즘이 서브그래프와 프로토타입의 강건성과 해석 가능성을 높이는가?

주요 결과

데이터셋	GCN	GIN	GAT	ProtGNN	GIB	VGIB	GSAT	PGIB	PGIB_cont
MUTAG	74.50±7.89	80.50±7.89	73.50±7.43	80.50±9.07	79.00±6.24	81.00±6.63	80.88±8.94	85.00±7.07	85.50±5.22
PROTEINS	72.83±4.23	70.30±4.84	71.35±4.85	73.83±4.22	75.25±5.92	73.66±3.32	69.64±4.71	77.14±2.19	77.50±2.42
NCI1	73.16±3.49	75.04±2.08	66.05±1.03	74.13±2.10	64.65±6.78	63.75±3.37	68.13±2.64	77.65±2.20	78.25±2.13
DD	72.53±4.51	72.04±3.62	70.81±4.33	69.15±4.33	72.61±8.26	72.77±5.63	71.93±2.74	73.36±1.80	73.70±2.14

• PGIB는 MUTAG, PROTEINS, NCI1, DD의 네 가지 그래프 분류 데이터셋에서 최첨단 프로토타입 기반 및 IB 기반 방법을 능가한다.
• 대조 변형 PGIB_cont는 종종 변분 IB 버전에 비해 더 높은 정확도를 보인다.
• 프로토타입 병합은 모델 복잡성을 줄이고 성능을 희생하지 않으면서 해석 가능성을 개선한다.
• 프로토타입 투영은 각 프로토타입을 가장 가까운 훈련 서브그래프에 연결하여 설명의 해석 가능성을 높인다.
• 충실도 분석은 PGIB 기반 설명이 베이스라인에 비해 중요한 예측 구성 요소를 더 잘 포착함을 보여준다.