[논문 리뷰] GNNInterpreter: A Probabilistic Generative Model-Level Explanation for Graph Neural Networks

Xiaoqi Wang, Han‐Wei Shen|arXiv (Cornell University)|2022. 09. 15.

Advanced Graph Neural Networks인용 수 10

한 줄 요약

GNNInterpreter는 그래프 신경망(GNNs)에 대한 확률적 생성 모델 수준의 설명 방법을 제안하며, 주어진 예측에 사용하는 가장 분류적 구조적 및 특징 패턴을 드러내기 위해 생성 그래프 분포를 학습합니다. 새로운 목적 함수를 최적화하여, 블랙박스 헤드나 도메인 전용 규칙을 요구하지 않으면서도 다양한 GNN 아키텍처와 이질적인 그래프 유형에서 충실도가 높고 현실적이며 유연한 설명을 제공합니다. 이는 여러 데이터셋에서 기존 방법보다 충실도와 해석 가능성 면에서 뛰어난 성능을 보입니다.

ABSTRACT

Recently, Graph Neural Networks (GNNs) have significantly advanced the performance of machine learning tasks on graphs. However, this technological breakthrough makes people wonder: how does a GNN make such decisions, and can we trust its prediction with high confidence? When it comes to some critical fields, such as biomedicine, where making wrong decisions can have severe consequences, it is crucial to interpret the inner working mechanisms of GNNs before applying them. In this paper, we propose a model-agnostic model-level explanation method for different GNNs that follow the message passing scheme, GNNInterpreter, to explain the high-level decision-making process of the GNN model. More specifically, GNNInterpreter learns a probabilistic generative graph distribution that produces the most discriminative graph pattern the GNN tries to detect when making a certain prediction by optimizing a novel objective function specifically designed for the model-level explanation for GNNs. Compared to existing works, GNNInterpreter is more flexible and computationally efficient in generating explanation graphs with different types of node and edge features, without introducing another blackbox or requiring manually specified domain-specific rules. In addition, the experimental studies conducted on four different datasets demonstrate that the explanation graphs generated by GNNInterpreter match the desired graph pattern if the model is ideal; otherwise, potential model pitfalls can be revealed by the explanation. The official implementation can be found at https://github.com/yolandalalala/GNNInterpreter.

연구 동기 및 목표

• 의료 등 고위험 분야에서 GNNs에 대한 충실도가 높고 일반화 가능하며 계산적으로 효율적인 모델 수준의 설명이 부족한 문제를 해결하기 위해.
• 이산적인 토폴로지, 도메인 전용 그래프 유효성 제약 조건, 이질적인 노드/에지 특징 등 GNNs를 설명하는 데 도전 과제를 극복하기 위해.
• 개별 인스턴스 기반 설명이나 추가적인 블랙박스 컴포넌트에 의존하지 않고 GNNs의 고수준 의사결정 과정을 설명할 수 있는 방법을 개발하기 위해.
• 모델이 편향되거나 결함이 있을지라도 실제 분류 패턴을 반영하는 현실적이고 도메인 인식형 설명 그래프를 생성하기 위해.
• 메시지 전달 기반의 다양한 GNNs에 적용 가능한 통합적이고 민감한 프레임워크를 제공하기 위해, 특징 유형이나 아키텍처에 관계없이 적용 가능하도록.

제안 방법

• GNNInterpreter는 주어진 예측에 사용하는 가장 분류적 패턴을 나타내는 그래프 분포를 학습하는 확률적 생성 모델을 수립합니다.
• 충실도와 현실성을 보장하기 위해 재구성 손실, 임bedding 유사도, 정규화 항을 조합한 새로운 목적 함수를 최적화합니다.
• 훈련 안정성을 확보하기 위해 몬테카를로 샘플링을 Concrete 분포(온도 τ=0.2)와 함께 사용하고, SGD를 K=10개 샘플로 적용합니다.
• 정규화 항으로는 L1/L2 가중치 감소, 예산 페널티(Rb, 웜업 적용), 연결성 제약(Rc)이 포함되며, 각 데이터셋에 대해 그리드 서치를 통해 튜닝됩니다.
• 모델에 종속되지 않은 방법으로, 다양한 GNN 아키텍처(GCN, GAT)와 그래프 유형(합성, 실세계)에 이르기까지 이질적 특징을 가진 그래프에 적용 가능합니다.
• MUTAG처럼 구조적 제약 조건이 있는 데이터셋의 경우 더 높은 임베딩 유사도 가중치(μ)를 통해 도메인 규칙을 암묵적으로 포착합니다.

실험 결과

연구 질문

• RQ1 개별 인스턴스 기반 설명에 의존하지 않고, GNNs의 고수준 의사결정 패턴을 충실도 있게 드러내는 모델 수준의 설명 방법이 가능한가요?
• RQ2 어떻게 생성 모델이 실제 GNN이 학습한 분류적 특징을 반영하는 현실적이고 유효한 설명 그래프를 생성할 수 있나요?
• RQ3 GNNInterpreter는 편향 할당이나 허수 패턴에 대한 의존성과 같은 모델의 약점(예: 편향)을 어느 정도 탐지할 수 있나요?
• RQ4 XGNN과 같은 기존 최첨단 모델 수준의 설명 방법과 비교해 볼 때, GNNInterpreter는 충실도와 대표성 측면에서 어떻게 성능을 내나요?
• RQ5 GNNInterpreter는 아키텍처나 도메인 전용 수정 없이도 다양한 GNN 아키텍처와 이질적인 그래프 유형(노드 및 에지 특징 포함)에 일반화될 수 있나요?

주요 결과

• MUTAG 데이터셋에서 GNNInterpreter는 돌연변이성과 비돌연변이성 클래스에 대해 각각 F1 점수 0.961과 0.917을 기록하며 정확한 구조적 모티프를 식별했습니다.
• Cyclicity 데이터셋에서는 높은 F1 점수(0.995–0.993)를 기록했고, GNNInterpreter는 올바른 순환 패턴을 드러내었으며, 분류에서 색상의 역할도 확인했습니다.
• Motif 데이터셋에서는 완전-5 모티프가 가장 분류적 패턴으로 정확히 복원되었고, 해당 클래스에 대해 F1 점수 1.000의 완벽한 성능을 기록했습니다.
• Shape 데이터셋에서는 별 모양의 구조가 핵심 분류적 특징으로 정확히 식별되었으며, 이는 별 클래스에 대한 모델의 완벽한 예측(F1=1.000)과 일치했습니다.
• ColorConsistency 데이터셋에서는 GNNInterpreter가 일관된 에지 및 노드 특징의 역할을 충실도 있게 반영한 설명 그래프를 생성했고, 이는 모델의 높은 F1 점수(0.9963 및 0.9962)와 일치했습니다.
• 모든 데이터셋에서 GNNInterpreter는 모델 편향이나 허수 패턴(예: 특정 구조적 모티프에 대한 과도한 의존성)을 탐지하여, 모델의 약점을 진단할 수 있는 능력을 입증했습니다.