[논문 리뷰] Evaluating Explainability for Graph Neural Networks

Chirag Agarwal, Owen Queen외 2명|arXiv (Cornell University)|2022. 08. 19.

Explainable Artificial Intelligence (XAI)인용 수 10

한 줄 요약

이 논문은 그래프 신경망(GNN)의 설명 가능성 방법을 평가하기 위해 신뢰할 수 있고 프로그래밍적으로 정의된 진짜 설명을 갖춘 다양한 벤치마크 데이터셋을 생성하는 합성 그래프 데이터 생성기인 ShapeGGen을 소개한다. 다양한 그래프 구조와 성질을 갖는 환경에서 GNN 설명 가능성 방법을 통제적으로 평가할 수 있도록 하여, ShapeGGen과 함께 제공되는 GraphXAI 라이브러리는 설명 품질 평가를 위한 표준화된 프레임워크를 제공하며, 분야 내 신뢰할 수 있는 벤치마크의 부족을 해결한다.

ABSTRACT

As post hoc explanations are increasingly used to understand the behavior of graph neural networks (GNNs), it becomes crucial to evaluate the quality and reliability of GNN explanations. However, assessing the quality of GNN explanations is challenging as existing graph datasets have no or unreliable ground-truth explanations for a given task. Here, we introduce a synthetic graph data generator, ShapeGGen, which can generate a variety of benchmark datasets (e.g., varying graph sizes, degree distributions, homophilic vs. heterophilic graphs) accompanied by ground-truth explanations. Further, the flexibility to generate diverse synthetic datasets and corresponding ground-truth explanations allows us to mimic the data generated by various real-world applications. We include ShapeGGen and several real-world graph datasets into an open-source graph explainability library, GraphXAI. In addition to synthetic and real-world graph datasets with ground-truth explanations, GraphXAI provides data loaders, data processing functions, visualizers, GNN model implementations, and evaluation metrics to benchmark the performance of GNN explainability methods.

연구 동기 및 목표

• GNN 설명 가능성 방법을 평가하기 위한 신뢰할 수 있고 프로그래밍적으로 정의된 진짜 설명의 부족을 해결하기 위해.
• 크기, 차수 분포, 동질성 수준 등 제어 가능한 성질을 갖는 다양한 그래프 데이터셋을 생성할 수 있는 유연한 합성 그래프 생성기를 개발하기 위해.
• 합성 및 실세계 데이터셋, 설명, 모델 구현, 평가 지표를 통합한 포괄적인 벤치마크 라이브러리인 GraphXAI를 구축하기 위해.
• 예측의 진짜 이유가 알려진 데이터를 사용하여 GNN 설명 가능성 방법을 체계적으로 평가할 수 있도록 하기 위해.
• 표준화된 데이터, 도구, 평가 프로토콜을 제공하여 GNN 설명 가능성 분야의 재현 가능한 연구를 지원하기 위해.

제안 방법

• ShapeGGen는 그래프 크기, 노드 차수 분포, 동질성/이질성 수준 등 사용자 정의 매개변수를 갖는 합성 그래프를 생성한다.
• 생성기는 특정 부분 구조(예: 형태)를 노드 수준 예측 레이블과 연관시켜 진짜 설명을 임베딩함으로써, 설명이 모델의 추론과 직접적으로 대응하도록 보장한다.
• 진짜 설명은 예측에 대해 인과적으로 책임이 있는 그래프의 부분을 나타내는 노드 또는 부분 그래프 마스크로 인코딩된다.
• 이 프레임워크는 GraphXAI라는 통합 라이브러리와 통합되며, 데이터 로더, 시각화 도구, GNN 모델 구현, 설명 가능성 평가 지표를 제공한다.
• GraphXAI는 합성 및 실세계 그래프 데이터셋을 모두 지원하여 설명 가능성 방법의 교차 데이터셋 평가를 가능하게 한다.
• 표준 설명 가능성 지표(예: 충실도, 정밀도, 재현율)를 사용하여 다양한 GNN 설명 가능성 방법이 생성한 설명을 평가한다.

실험 결과

연구 질문

• RQ1 다양한 그래프 구조(예: 동질성 그래프 대 이질성 그래프)에서 다른 GNN 설명 가능성 방법의 성능은 어떻게 다를까?
• RQ2 기존의 설명 방법들이 합성 데이터에서 사용된 진짜 부분 구조를 얼마나 정확히 복원하는가?
• RQ3 그래프 구조의 복잡도(예: 크기, 차수 분포)는 설명의 충실도와 신뢰성에 어떤 영향을 미치는가?
• RQ4 제안된 벤치마크는 높은 품질과 낮은 품질의 설명 방법을 신뢰성 있게 구분할 수 있는가?
• RQ5 설명 방법들은 다양한 종류의 합성 및 실세계 그래프 데이터에 대해 얼마나 일반화되는가?

주요 결과

• ShapeGGen는 여러 구조적 구성에서 일관되고 프로그래밍적으로 정의된 진짜 설명을 갖춘 다양한 그래프 데이터셋을 성공적으로 생성하였다.
• GraphXAI를 통한 평가 결과, 설명 방법 간 성능 격차가 뚜렷하게 드러났으며, 일부 방법은 간단한 그래프에서도 진짜 부분 구조를 복원하지 못하는 것으로 나타났다.
• 이질성 그래프에서는 동질성 그래프에 비해 설명의 충실도와 정밀도가 일관되게 낮아, 이러한 환경에서의 방법론적 과제를 시사한다.
• 벤치마크는 현재의 설명 방법이 복잡하거나 희박한 그래프에서 특히 정확한 인과 부분 구조를 식별하지 못하는 경향이 있음을 보여주었다.
• GraphXAI에 합성 및 실세계 데이터셋을 모두 포함시킴으로써 설명 가능성 기법의 보다 강력하고 일반화 가능한 평가가 가능해졌다.
• 이 프레임워크는 GNN 설명 가능성 방법의 재현 가능하고 체계적인 비교를 가능하게 하여 현재 접근법의 격차를 드러내었다.