[논문 리뷰] DEGREE: Decomposition Based Explanation For Graph Neural Networks

Qizhang Feng, Ninghao Liu외 4명|arXiv (Cornell University)|2023. 05. 22.

Explainable Artificial Intelligence (XAI)인용 수 5

한 줄 요약

DEGREE는 그래프 신경망(GNNs)의 예측에 대한 분해 기반 설명 방법을 제안하며, 메시지 전달 메커니즘을 통해 그래프 구성 요소의 기여도를 추적함으로써 노드 및 부분 그래프 간의 충실도가 높고, 덧셈적이지 않은 설명을 보장한다. 훼손 또는 대체 모델 없이 구조적 분해와 부분 그래프 집합 기반 기법을 활용함으로써 노드 및 그래프 분류 작업에서 최신 기술 수준의 충실도를 달성한다.

ABSTRACT

Graph Neural Networks (GNNs) are gaining extensive attention for their application in graph data. However, the black-box nature of GNNs prevents users from understanding and trusting the models, thus hampering their applicability. Whereas explaining GNNs remains a challenge, most existing methods fall into approximation based and perturbation based approaches with suffer from faithfulness problems and unnatural artifacts, respectively. To tackle these problems, we propose DEGREE \degree to provide a faithful explanation for GNN predictions. By decomposing the information generation and aggregation mechanism of GNNs, DEGREE allows tracking the contributions of specific components of the input graph to the final prediction. Based on this, we further design a subgraph level interpretation algorithm to reveal complex interactions between graph nodes that are overlooked by previous methods. The efficiency of our algorithm can be further improved by utilizing GNN characteristics. Finally, we conduct quantitative and qualitative experiments on synthetic and real-world datasets to demonstrate the effectiveness of DEGREE on node classification and graph classification tasks.

연구 동기 및 목표

• GNN의 투명성 부족으로 인해 기존에 충실도가 높고 세밀한 수준의 설명이 부족한 문제를 해결하기 위해.
• 근사 기반 및 훼손 기반 설명 방법의 한계를 극복하기 위해, 저조한 충실도와 비자연스러운 아티팩트 문제를 해결하기 위해.
• 그래프 구성 요소 간의 복잡한 비선형 상호작용을 포괄하는 부분 그래프 수준의 해석을 가능하게 하기 위해.
• 대체 모델이나 입력 훼손에 의존하지 않고 GNN의 순방향 전파를 직접 분석할 수 있는 방법을 설계하기 위해.
• 설명 생성 과정에서 GNN 고유의 구조적 특성을 활용함으로써 계산 효율성을 확보하기 위해.

제안 방법

• DEGREE는 GNN 내 메시지 전달 메커니즘을 분해하여, 최종 예측에 기여하는 서로 다른 노드 그룹의 기여도를 고립한다.
• 일반적인 GNN 레이어(GCN, GAT 등)에 대해 특정 분해 기법을 설계하여 입력 그래프 구성 요소에서의 정보 흐름을 추적한다.
• 하위그래프 집합화 알고리즘은 위상적 구조와 DEGREE 점수를 조합하여 의미 있는 하위그래프 집합을 설명으로 식별한다.
• 덧셈 기반 할당을 피함으로써 그래프 구성 요소 간의 비선형 상호작용을 탐지할 수 있다.
• 근사나 훼손을 사용하지 않고 본래의 순방향 전파 분석을 통해 충실도를 보장한다.
• GNN 내장된 순방향 전파 계산 그래프를 재사용함으로써 효율성을 향상시킨다.

Figure 1: Illustration of the DEGREE for decomposing GCN. Node features or latent embeddings contain target portion (orange hemisphere) and an background portion (blue hemisphere). (a)-(c) show the workflow of the GCN, exhibiting only the messages aggregation for node A. (d) demonstrates message agg

실험 결과

연구 질문

• RQ1 기존의 근사 기반 또는 훼손 기반 방법보다 분해 기반 접근이 GNN 예측에 대해 더 충실도 높은 설명을 제공할 수 있는가?
• RQ2 DEGREE는 노드 및 그래프 분류 작업에서 그래프 구성 요소 간의 복잡한 비선형 상호작용을 얼마나 잘 포착할 수 있는가?
• RQ3 합성 및 실제 그래프 데이터셋에서 최신 기술 수준의 기준 대비 DEGREE의 설명 충실도가 얼마나 뛰어나게 성능을 냈는가?
• RQ4 DEGREE는 예를 들어 분자의 기능 그룹처럼 의미적으로 유의미한 하위그래프를 효과적으로 식별할 수 있는가?
• RQ5 다양한 GNN 아키텍처에서 고성능의 설명을 유지하면서 효율성 측면에서 DEGREE는 어떻게 확장 가능한가?

주요 결과

• DEGREE는 노드 분류 작업에서 최신 기술 수준의 설명 AUC를 달성하였으며, BA-Community에서 약 9% 향상되고 MUTAG에서는 약 5% 향상되었다.
• 이 방법은 GCN 및 GAT 모델 모두에서 높은 충실도를 보이며, 다양한 GNN 아키텍처에 넓게 적용 가능함을 시사한다.
• 정성적 분석 결과, DEGREE는 MUTAG에서 "NO2" 및 "NH2"와 같은 핵심 모티프를 강력한 유전자 변형 유도 요소로 정확히 식별하였으며, 화학 지식과 일치한다.
• Graph-SST2에서 DEGREE는 문장 부분 간의 비선형 상호작용(예: 조건형 어조)을 탐지하여 올바른 및 잘못된 예측을 모두 설명할 수 있었다.
• 하위그래프 집합화 알고리즘은 복잡한 구조적 패턴, 예를 들어 "CH3"와 다른 모티프 간의 부정적 상호작용을 성공적으로 드러내어 모델 오류의 원인을 규명하였다.
• DEGREE는 순방향 전파 계산 그래프를 재사용함으로써 높은 효율성을 달성하였으며, 추가 학습이 필요하지 않다.

Figure 2: The subgraph agglomeration results on MUTAG dataset. The first row shows a correct prediction. The second and the third row report two typical examples of errors. Red is mutagenic, blue is non-mutagenic, gray is not selected. The colored edges link the selected nodes. The process goes from