[논문 리뷰] BAGEL: A Benchmark for Assessing Graph Neural Network Explanations

Mandeep Rathee, Thorben Funke외 2명|arXiv (Cornell University)|2022. 06. 28.

Machine Learning in Materials Science인용 수 6

한 줄 요약

이 논문은 그래프 신경망(GNN) 설명에 대한 다면적 평가를 가능하게 하는 종합적 벤치마크인 BAGEL을 소개한다. 이는 충실도, 희박성, 정확성, 타당성의 네 가지 평가 축을 바탕으로 하며, 다양한 메트릭, 데이터셋, 설명 방법을 통합한 모듈러한 프레임워크를 제공한다. 이는 어떤 메트릭에서나 항상 뛰어난 성능을 보이는 메서드가 존재하지 않음을 드러내며, GNN 해석 가능성 연구에서 다각적 평가의 필요성을 강조한다.

ABSTRACT

The problem of interpreting the decisions of machine learning is a well-researched and important. We are interested in a specific type of machine learning model that deals with graph data called graph neural networks. Evaluating interpretability approaches for graph neural networks (GNN) specifically are known to be challenging due to the lack of a commonly accepted benchmark. Given a GNN model, several interpretability approaches exist to explain GNN models with diverse (sometimes conflicting) evaluation methodologies. In this paper, we propose a benchmark for evaluating the explainability approaches for GNNs called Bagel. In Bagel, we firstly propose four diverse GNN explanation evaluation regimes -- 1) faithfulness, 2) sparsity, 3) correctness. and 4) plausibility. We reconcile multiple evaluation metrics in the existing literature and cover diverse notions for a holistic evaluation. Our graph datasets range from citation networks, document graphs, to graphs from molecules and proteins. We conduct an extensive empirical study on four GNN models and nine post-hoc explanation approaches for node and graph classification tasks. We open both the benchmarks and reference implementations and make them available at https://github.com/Mandeep-Rathee/Bagel-benchmark.

연구 동기 및 목표

• GNN 설명 방법을 평가하기 위한 표준화되고 종합적인 벤치마크의 부재를 해결하기 위해.
• 충실도, 희박성, 정확성, 타당성 등의 다양한 평가 메트릭과 개념을 하나의 확장 가능한 프레임워크로 통합하기 위해.
• 실제 세계 데이터셋과 기준 구현을 포함한 모듈러하고 오픈소스 벤치마크를 제공하여 GNN 설명 가능성 분야의 신규 연구에 대한 장벽을 낮추기 위해.
• 여러 GNN 모델과 작업에서 9종의 사후 해석 GNN 설명 방법의 성능을 실증적으로 평가하기 위해.

제안 방법

• 충실도(비교적 RDT-Fidelity를 통한), 희박성(설명 크기 측정), 정확성(의도적인 비합리적 상관관계 삽입을 통한), 타당성(인간의 근거와 비교)의 네 가지 평가 제도를 제안한다.
• 다양한 GNN 모델(GCN, GAT, GIN, APPNP)과 설명 방법(GNNExplainer, Grad, IG, GradCAM 등)을 지원하는 모듈러하고 확장 가능한 프레임워크를 도입한다.
• 학술 논문 네트워크(Cora, Citeseer, PubMed), 생물학적 네트워크(PROTEINS, MUTAG), 텍스트 기반 영화 리뷰 등의 실제 세계 데이터셋을 사용한다.
• 부드러운 마스크와 딱딱한 마스크 생성 전략을 모두 활용하며, 딱딱한 마스크의 경우 임계값(예: 평균)을 사용하고, AUPRC 기반 타당성 평가에 부드러운 마스크를 직접 활용한다.
• 이전 연구에서 사용된 메트릭인 종합성, 충분성, 충실도 등을 조율하여 일관성을 확보함으로써 평가의 표준화를 이룬다.
• 기준 구현을 제공하고 벤치마크를 https://github.com/Mandeep-Rathee/Bagel-benchmark 에서 오픈소스로 공개한다.

실험 결과

연구 질문

• RQ1 실제 세계 데이터셋에서 충실도, 희박성, 정확성, 타당성의 여러 평가 축을 고려할 때 어떤 GNN 설명 방법이 가장 우수한 성능을 보이는가?
• RQ2 다양한 임계값 전략을 사용할 때, 부드러운 마스크와 딱딱한 마스크 설명 간의 안정성과 성능은 어떻게 비교되는가?
• RQ3 인간이 애초에 기록한 근거와 비교했을 때, 설명 방법이 인간의 사고 방식을 어느 정도 반영하는가?
• RQ4 GNN 모델의 선택(GCN 대비 GIN 등)이 다양한 평가 메트릭에서 설명의 질에 어떤 영향을 미치는가?
• RQ5 의도적인 비합리적 상관관계를 삽입함으로써 GNN에서 설명의 정확성을 효과적으로 측정할 수 있는가?

주요 결과

• 어느 한 설명 방법도 모든 평가 메트릭에서 항상 뛰어나지 않으며, 충실도, 희박성, 정확성, 타당성 간의 미묘한 트레이드오���이 존재함을 시사한다.
• GNNExplainer는 Cora에서 높은 충실도와 정확성 성능(예: k=20일 때 F1 = 0.67)을 보였지만, 영화 리뷰 데이터셋에서는 큰 설명 크기로 인해 타당도가 낮게 나타났다(F1 = 0.35).
• GradCAM은 영화 리뷰 데이터셋에서 모든 GNN 모델에서 가장 높은 타당도 점수(AUPRC = 0.67)를 기록했지만, F1 점수가 낮아(0.34) 높은 재현율이지만 낮은 정밀도를 보였다.
• 희박성이 핵심적이다: 평균 임계값을 사용한 딱딱한 마스크 변환은 매우 큰 설명(예: 약 150~400개 노드)을 유도하여 관련 없는 노드가 포함되면서 정확도 정밀도가 낮아졌고, 이로 인해 F1 < 0.25 수준으로 떨어졌다.
• 고수준의 RDT-Fidelity는 설명의 안정성과 관련이 있으며, 입력 특징이 해석 가능할 경우 충실도 메트릭이 가장 신뢰할 수 있다. 특징이 해석하기 어려운 경우, 구조 기반 설명이 선호된다.
• 타당도 점수는 설명기와 GNN 모델 양쪽 모두에 민감하여, 성능 저하의 원인이 모델인지 설명 방법인지 분리하기 어려운 상황이다.