[논문 리뷰] GNNX-BENCH: Unravelling the Utility of Perturbation-based GNN Explainers through In-depth Benchmarking

Mert Kosan, Samidha Verma외 5명|arXiv (Cornell University)|2023. 10. 03.

Ferroelectric and Negative Capacitance DevicesEngineering인용 수 3

한 줄 요약

이 논문은 다양한 데이터셋과 변형 유형에서 사실적 및 반사적 방법을 평가하는 펌터베이션 기반 GNN 설명가를 위한 종합적인 벤치마크인 GNNX-BENCH를 소개한다. RCExplainer는 특히 노이즈 상황에서도 가장 안정적이고 효과적인 방법으로 밝혀졌으며, 구조적 제약 위반으로 인한 반사적 타당성의 핵심적 한계도 드러냈다.

ABSTRACT

Numerous explainability methods have been proposed to shed light on the inner workings of GNNs. Despite the inclusion of empirical evaluations in all the proposed algorithms, the interrogative aspects of these evaluations lack diversity. As a result, various facets of explainability pertaining to GNNs, such as a comparative analysis of counterfactual reasoners, their stability to variational factors such as different GNN architectures, noise, stochasticity in non-convex loss surfaces, feasibility amidst domain constraints, and so forth, have yet to be formally investigated. Motivated by this need, we present a benchmarking study on perturbation-based explainability methods for GNNs, aiming to systematically evaluate and compare a wide range of explainability techniques. Among the key findings of our study, we identify the Pareto-optimal methods that exhibit superior efficacy and stability in the presence of noise. Nonetheless, our study reveals that all algorithms are affected by stability issues when faced with noisy data. Furthermore, we have established that the current generation of counterfactual explainers often fails to provide feasible recourses due to violations of topological constraints encoded by domain-specific considerations. Overall, this benchmarking study empowers stakeholders in the field of GNNs with a comprehensive understanding of the state-of-the-art explainability methods, potential research problems for further enhancement, and the implications of their application in real-world scenarios.

연구 동기 및 목표

• 다양한 설정에서 펌터베이션 기반 사실적 및 반사적 GNN 설명가를 체계적으로 평가하고 비교하는 것.
• 노이즈, 아키텍처 변형, 최적화의 확률적 변동 상황에서 현재의 설명 가능성 방법의 안정성과 타당성 문제를 규명하는 것.
• 행동 가능한 통찰을 제공하는 데 핵심적인 역할을 하는 반사적 설명가에 대한 벤치마킹 부족 문제를 해결하는 것.
• 작업 및 데이터셋 전반에서의 실험적 성능와 강건성에 기반한 실무자용 실질적 권고 사항을 제공하는 것.

제안 방법

• 연구는 ogbg-molhiv 및 IMDB-B를 포함한 6개의 표준 GNN 벤치마크 데이터셋에서 7개의 사실적 및 4개의 반사적 펌터베이션 기반 설명가를 벤치마킹한다.
• 표준 메트릭(예: 충분성 및 충실도)을 사용하여 설명가의 성능을 평가하며, 설명이 모델 예측을 얼마나 잘 재현하는지 측정한다.
• 강건성 테스트를 위해 제어된 구조적 노이즈(엣지 제거)를 도입하고, GNN 아키텍처와 학습의 확률적 변동성을 변화시킨다.
• 설명가의 타당성을 평가하기 위해 도메인 특화된 구조적 제약(예: 분자 그래프에서의 화학 валence)을 위반하지 않는지 확인한다.
• 재현 가능성을 보장하고 향후 벤치마킹을 용이하게 하기 위해 공개된 코드베이스를 구축하여 배포한다.
• 사용자 지침 흐름도를 포함하여 작업 유형, 데이터 크기, 응용 맥락에 따라 설명가를 선택하는 데 도움을 주는 가이드라인을 제공한다.

Figure 1: Structuring the space of the existing methods on Gnn explainability as follows. Gradient: SA [ 7 ] , Guided-BP [ 7 ] , Grad-CAM [ 34 ] ; Decomposition: Excitation-BP [ 34 ] , GNN-LRP [ 39 ] , CAM [ 34 ] ; Perturbation: GNNExplainer [ 58 ] , PGExplainer [ 30 ] , SubgraphX [ 62 ] , GEM [ 27

실험 결과

연구 질문

• RQ1 펌터베이션 기반 사실적 및 반사적 GNN 설명가가 노이즈 상황에서 다양한 GNN 아키텍처와 데이터셋에서 어떻게 성능을 내는가?
• RQ2 반사적 설명가가 도메인 특화된 구조적 제약을 충족하는 타당한 해결책(구조)을 얼마나 잘 생성하는가?
• RQ3 최적화의 확률적 변동성과 하이퍼파라미터 설정이 다양할 때 어떤 설명가가 더 높은 안정성과 일관성을 보이는가?
• RQ4 충실도, 충분성, 입력 변형에 대한 강건성 측면에서 사실적 설명가와 반사적 설명가는 어떻게 비교되는가?
• RQ5 확장성과 성능 측면에서 유도적 설명가와 이행적 설명가 간의 주요 상충 관계는 무엇인가?

주요 결과

• RCExplainer는 모든 데이터셋에서 평균 충분성에서 가장 높은 성능을 기록했으며, Mutagenicity에서 0.96 ±0.00, IMDB-B에서 0.98 ±0.00의 성능을 보였고, 노이즈 상황에서도 뛰어난 안정성을 입증했다.
• 모든 설명가(예: RCExplainer 포함)가 구조적 노이즈 상황에서 성능 저하를 보였으며, 이는 입력 변형에 대한 내재적 민감성의 증거로 볼 수 있다.
• CF-GNNExplainer 및 CLEAR와 같은 반사적 설명가들은 종종 화학 구조의 타당성 위반(예: 잘못된 분자 구조)으로 인해 타당하지 않은 해결책을 생성했다.
• CF 2는 AIDS에서 높은 성능(0.99 ±0.01)을 보였지만, Proteins에서는 실패(NA)하여 작업에 특화된 한계를 드러냈다.
• TAGExplainer (2)는 TAGExplainer (1)에 비해 성능 향상이 크게 없었으며, 이는 이중 단계 보정 과정의 이점이 제한적임을 시사한다.
• 본 연구는 특정 메트릭에서 항상 다른 설명가를 앞서는 유일한 설명가가 존재하지 않음을 규명했지만, RCExplainer는 그래프 분류 작업에서 가장 강건하고 신뢰할 수 있는 선택으로 부각되었다.

Figure 2: Sufficiency of the factual explainers against the explanation size. For factual explanations, higher is better. We omit those methods for a dataset that threw an out-of-memory (OOM) error.