[논문 리뷰] Towards Robust Fidelity for Evaluating Explainability of Graph Neural Networks

Xu Zheng, Farhad Shirani외 6명|arXiv (Cornell University)|2023. 10. 03.

Explainable Artificial Intelligence (XAI)인용 수 4

한 줄 요약

이 논문은 기존의 정밀도 지표에서 발생하는 분포 이탈 문제를 해결함으로써 그래프 신경망(GNN) 설명 가능성 평가를 위한 강건하고 정보 이론 기반의 프레임워크를 제안한다. 기존의 $Fid_+$, $Fid_-$, $Fid_\Delta$와 비교해 분포 이탈에 강인한 새로운 지표인 $Fid_{\alpha_1,+}$, $Fid_{\alpha_2,-}$, $Fid_{\alpha_1,\alpha_2,\Delta}$를 도입하여 다양한 데이터셋에서 황금 표준 편집 거리와의 일치도가 크게 향상되었으며, 일관성과 신뢰성 면에서 뛰어난 성능을 보였다.

ABSTRACT

Graph Neural Networks (GNNs) are neural models that leverage the dependency structure in graphical data via message passing among the graph nodes. GNNs have emerged as pivotal architectures in analyzing graph-structured data, and their expansive application in sensitive domains requires a comprehensive understanding of their decision-making processes -- necessitating a framework for GNN explainability. An explanation function for GNNs takes a pre-trained GNN along with a graph as input, to produce a `sufficient statistic' subgraph with respect to the graph label. A main challenge in studying GNN explainability is to provide fidelity measures that evaluate the performance of these explanation functions. This paper studies this foundational challenge, spotlighting the inherent limitations of prevailing fidelity metrics, including $Fid_+$, $Fid_-$, and $Fid_Δ$. Specifically, a formal, information-theoretic definition of explainability is introduced and it is shown that existing metrics often fail to align with this definition across various statistical scenarios. The reason is due to potential distribution shifts when subgraphs are removed in computing these fidelity measures. Subsequently, a robust class of fidelity measures are introduced, and it is shown analytically that they are resilient to distribution shift issues and are applicable in a wide range of scenarios. Extensive empirical analysis on both synthetic and real datasets are provided to illustrate that the proposed metrics are more coherent with gold standard metrics. The source code is available at https://trustai4s-lab.github.io/fidelity.

연구 동기 및 목표

• 기존 GNN 설명 가능성 정밀도 지표의 근본적 결함인 하위그래프 제거로 인한 분포 이탈에 민감함을 규명하고 이를 해결한다.
• 필요 통계량과 최소 하위그래프 크기를 기반으로 GNN 설명 가능성의 형식적이고 정보 이론 기반의 정의를 수립한다.
• 실제 그래프 데이터에서 발생하는 분포 이탈에 강인한 이론적으로 탄탄한 대체 정밀도 지표를 개발한다.
• 제안된 지표가 다양한 합성 및 실세계 데이터셋에서 황금 표준 편집 거리와의 일치도를 실증적으로 검증한다.
• 복잡하고 비결정적인 방법에 의존하지 않는 안정적이고 결정적인 XAI 평가 프레임워크를 제공한다.

제안 방법

• 하위그래프가 레이블에 대해 (거의) 충분통계량이 되고 크기가 최소이도록 하는 정보 이론 기반의 설명 가능성 정의를 도입한다.
• 분포 이탈을 완화하기 위해 간선 제거 및 유지 비율을 제어하는 새로운 정밀도 지표인 $Fid_{\alpha_1,+}$, $Fid_{\alpha_2,-}$, $Fid_{\alpha_1,\alpha_2,\Delta}$를 제안한다.
• 매개변수화된 흐름 전략을 활용하여, $Fid_{\alpha_1,+}$에서 $\alpha_1$는 설명 하위그래프에서 제거되는 간선 비율을 제어하고, $Fid_{\alpha_2,-}$에서 $\alpha_2$는 비설명 하위그래프에서 유지되는 간선 비율을 제어한다.
• 다양한 데이터셋과 모델에서 제안된 지표와 황금 표준 편집 거리 간의 슔피어만 상관계수를 주요 평가 지표로 사용한다.
• 통계적 신뢰성을 확보하기 위해 각 데이터셋당 50회의 샘플링 반복을 포함한 통제된 실험 설정을 구현한다.
• GCN 및 GIN 모델을 사용하여 합성(트리-사이클, 트리-그리드, BA-2모티프) 및 실세계(MUTAG) 데이터셋 모두에서 지표를 검증한다.

(a) $Fid_{\alpha_{1},+}$ on Tree-Circles

실험 결과

연구 질문

• RQ1 왜 기존의 정밀도 지표인 $Fid_+$, $Fid_-$, $Fid_\Delta$는 하위그래프 제거로 인한 분포 이탈로 인해 황금 표준 설명 품질과의 일치도를 상실하는가?
• RQ2 이론적으로 탄탄한 정보 이론 기반의 GNN 설명 가능성 프레임워크는 더 강건하고 신뢰할 수 있는 정밀도 지표를 도출할 수 있는가?
• RQ3 제안된 매개변수화된 지표인 $Fid_{\alpha_1,+}$와 $Fid_{\alpha_2,-}$는 기존 지표에 비해 황금 표준 편집 거리와의 일치도를 얼마나 향상시키는가?
• RQ4 매개변수 $\alpha_1$와 $\alpha_2$는 제안된 지표의 강인성과 황금 표준과의 상관계수에 어떤 영향을 미치는가?
• RQ5 기존 지표가 트리-그리드 데이터셋에서 GIN 모델을 평가하지 못하는 이유는 무엇이며, 제안된 프레임워크는 이 문제를 해결하는가?

주요 결과

• 제안된 $Fid_{\alpha_1,+}$ 지표는 모든 데이터셋에서 황금 표준 편집 거리와 -1.0의 스피어만 상관계수를 유지하여 강력한 반비례 관계를 보였다.
• 기존의 $Fid_+$ 지표는 일관성 없는 상관계수를 보였다(예: 트리-사이클에서 0.229, BA-2모티프에서 -0.924), 이는 안정성 부족과 황금 표준과의 불일치를 시사한다.
• 제안된 $Fid_{\alpha_2,-}$ 지표는 트리-그리드와 BA-2모티프에서 황금 표준과 완벽한 1.000 상관계수를 기록하여 기존 $Fid_-$ 지표보다 뚜렷이 뛰어난 성능을 보였다.
• $Fid_{\alpha_1,\alpha_2,\Delta}$ 지표는 모든 데이터셋에서 황금 표준과 완벽한 -1.000 상관계수를 기록하여 그 우수한 일치도와 강인성을 입증했다.
• 간선 분류의 AUC 지표는 황금 표준 편집 거리와 완벽하게 일치(상관계수 = -1.000)하여 신뢰할 수 있는 기준으로서의 유효성을 검증했다.
• 모든 정밀도 지표가 트리-그리드 데이터셋에서 GIN 모델을 평가하지 못하는 것으로 나타났으며, 이는 노드 분류 작업에서의 일반화 능력 부족 때문일 가능성이 높다. 이는 제안된 지표로도 해결되지 않은 한계이다.

(b) $Fid_{\alpha_{2},-}$ on Tree-Circles