[논문 리뷰] Deconfounding to Explanation Evaluation in Graph Neural Networks

Yingxin Wu, Xiang Wang외 5명|arXiv (Cornell University)|2022. 01. 21.

Advanced Graph Neural Networks인용 수 7

한 줄 요약

이 논문은 전이된 서브그래프 생성을 통해 그래프 신경망(GNN) 설명 평가에서 분포 이탈(OOD) 문제를 완화하는 인과 추론 기반 프레임워크인 Deconfounded Subgraph Evaluation(DSE)을 제안한다. 보조 서브그래프 생성기를 사용한 전방 조정을 통해, 조건부 변동형 그래프 오토인코더(CVGAE)를 학습시켜 내부 분포의 대체물(서브그래프)을 생성함으로써, 서브그래프 중요도에 대한 편향 없는 추정이 가능해지며, 기존의 제거 기반 평가 방식에 비해 설명의 정확도가 크게 향상된다.

ABSTRACT

Explainability of graph neural networks (GNNs) aims to answer "Why the GNN made a certain prediction?", which is crucial to interpret the model prediction. The feature attribution framework distributes a GNN's prediction to its input features (e.g., edges), identifying an influential subgraph as the explanation. When evaluating the explanation (i.e., subgraph importance), a standard way is to audit the model prediction based on the subgraph solely. However, we argue that a distribution shift exists between the full graph and the subgraph, causing the out-of-distribution problem. Furthermore, with an in-depth causal analysis, we find the OOD effect acts as the confounder, which brings spurious associations between the subgraph importance and model prediction, making the evaluation less reliable. In this work, we propose Deconfounded Subgraph Evaluation (DSE) which assesses the causal effect of an explanatory subgraph on the model prediction. While the distribution shift is generally intractable, we employ the front-door adjustment and introduce a surrogate variable of the subgraphs. Specifically, we devise a generative model to generate the plausible surrogates that conform to the data distribution, thus approaching the unbiased estimation of subgraph importance. Empirical results demonstrate the effectiveness of DSE in terms of explanation fidelity.

연구 동기 및 목표

• 전체 그래프와 서브그래프 간의 분포 이탈로 인해 발생하는 GNN 설명 평가의 신뢰성 문제를 해결하기 위해.
• 서브그래프 중요도와 모델 예측 간의 임의의 상관관계를 유도하는 혼란 변수로 작용하는 분포 이탈(OOD) 효과를 규명하기 위해.
• 설명 서브그래프가 GNN 예측에 미치는 진정한 인과 효과를 추정하는 탈혼돈 평가 프레임워크를 개발하기 위해.
• 데이터 분포 특성을 유지하는 내부 분포의 보조 서브그래프를 생성하여 편향 없는 인과 추정을 가능하게 하기 위해.
• 기존의 표준 특성 제거 방식을 대체하여 인과적으로 타당한 평가 철학으로 전환함으로써 설명의 정확도를 향상시키기 위해.

제안 방법

• 전체 그래프와 서브그래프 간의 분포 이탈(D)에 의한 혼란 효과를 수식화하기 위해 구조적 인과 모델(SCM)을 제안한다.
• 보조 변수 $G^*_s$ 를 통해 서브그래프 $G_s$ 가 예측 $Y$ 에 미치는 인과 효과를 전방 조정을 통해 추정한다.
• 서브그래프 $G_s$ 를 조건으로 하여 타당하고 내부 분포에 부합하는 보조 서브그래프 $G^*_s$ 를 생성하기 위해 조건부 변동형 그래프 오토인코더(CVGAE)를 설계한다.
• 생성된 보조 서브그래프가 원래 데이터 분포를 잘 따르도록, 대비 손실과 적대적 훈련을 사용하여 CVGAE를 훈련시킨다.
• 인과 효과를 $P(G^*_s | G_s)$ 와 $P(Y | G^*_s)$ 의 곱으로 추정함으로써, 서브그래프 중요도에 대한 편향 없는 평가가 가능하게 한다.
• 제거 기반 예측 상관관계를 대체하여, 보조 서브그래프 기반의 인과 효과를 설명의 정확도 평가 지표로 사용한다.

실험 결과

연구 질문

• RQ1 전체 그래프에서 서브그래프로의 분포 이탈이 GNN에서 서브그래프 중요도 평가를 왜곡시키는 혼란 변수로 작용하는가?
• RQ2 전방 조정이 그래프 데이터에 효과적으로 적용되어 서브그래프가 모델 예측에 미치는 인과 효과를 탈혼돈화할 수 있는가?
• RQ3 딥 러닝 생성 모델이 원래 데이터 분포를 충실하게 반영하는 내부 분포의 보조 서브그래프를 생성할 수 있는가?
• RQ4 제안된 DSE 프레임워크가 기존의 제거 기반 평가 방식에 비해 설명의 정확도를 향상시키는가?
• RQ5 실제 GNN 설명에서 OOD 서브그래프에 의해 유도된 잘못된 상관관계에 대해 DSE는 얼마나 강건한가?

주요 결과

• 특성 제거로 인한 OOD 효과는 $G_s \leftarrow D \rightarrow Y$ 라는 혼란 경로를 유도하며, 이는 설명 평가를 약화시키는 임의의 상관관계를 초래한다.
• 실험 결과 DSE는 기존의 제거 기반 평가 방식에 비해 OOD 서브그래프로 인한 편향을 줄임으로써 설명의 정확도를 크게 향상시킴을 보였다.
• CVGAE 생성기는 데이터 분포를 잘 따르는 보조 서브그래프를 성공적으로 생성하여 유효한 전방 조정을 가능하게 하였다.
• DSE는 특히 제거 기반 방법이 직관에 어긋나는 중요도 점수를 할당하는 경우에도 더 신뢰할 수 있고 정확도가 높은 설명 서브그래프 평가를 달성하였다.
• DSE는 TR3와 같은 합성 및 실세계 데이터셋 모두에서 강건성을 입증하였으며, OOD 아티팩트가 존재하더라도 정답 설명을 올바르게 식별하였다.
• 제거 실험 결과, 보조 서브그래프 생성 및 전방 조정 구성 요소가 모두 탈혼돈화와 정확도 향상에 필수적임을 확인하였다.