[논문 리뷰] Explaining Dynamic Graph Neural Networks via Relevance Back-propagation

Jiaxuan Xie, Yezi Liu외 1명|arXiv (Cornell University)|2022. 07. 22.

Advanced Graph Neural Networks인용 수 7

한 줄 요약

이 논문은 동적 그래프 신경망(DGNNs)을 설명하기 위한 새로운 프레임워크인 DGExplainer를 제안한다. 이 프레임워크는 출력에서 입력 특징으로의 기여도를 추적하기 위해 관련성 역전파를 사용한다. 이는 시간에 따라 변화하는 그래프에서 핵심 노드를 식별하는 데 있어 높은 정밀도, 희박성, 안정성을 달성하며, PeMS04 및 Enron과 같은 실세계 데이터셋에서 기존 방법들을 능가한다.

ABSTRACT

Graph Neural Networks (GNNs) have shown remarkable effectiveness in capturing abundant information in graph-structured data. However, the black-box nature of GNNs hinders users from understanding and trusting the models, thus leading to difficulties in their applications. While recent years witness the prosperity of the studies on explaining GNNs, most of them focus on static graphs, leaving the explanation of dynamic GNNs nearly unexplored. It is challenging to explain dynamic GNNs, due to their unique characteristic of time-varying graph structures. Directly using existing models designed for static graphs on dynamic graphs is not feasible because they ignore temporal dependencies among the snapshots. In this work, we propose DGExplainer to provide reliable explanation on dynamic GNNs. DGExplainer redistributes the output activation score of a dynamic GNN to the relevances of the neurons of its previous layer, which iterates until the relevance scores of the input neuron are obtained. We conduct quantitative and qualitative experiments on real-world datasets to demonstrate the effectiveness of the proposed framework for identifying important nodes for link prediction and node regression for dynamic GNNs.

연구 동기 및 목표

• 점점 더 널리 사용되고 있지만 여전히 투명하지 않은 블랙박스 모델인 동적 그래프 신경망(DGNNs)에 대한 설명 가능성 방법의 부족을 해결한다.
• 진화하는 그래프 구조에서 시간적 의존성을 포착하지 못하는 기존의 정적-GNN 설명 방법의 한계를 극복한다.
• 모델 정밀도와 입력 변화에 대한 안정성을 유지하면서도, 적대적 공격이 아닌 신뢰할 수 있는 설명 프레임워크를 개발한다.
• 시간과 그래프 구성 요소에 걸쳐 관련성 점수를 분해함으로써 DGNN 예측의 신뢰성 있는 해석을 가능하게 한다.

제안 방법

• 출력 활성화 점수를 계층별 관련성 전파(LRP)를 통해 입력 특징으로 재분배하는 역전파 메커니즘을 제안한다.
• DGNN의 예측을 시간 관련 모듈과 그래프 관련 모듈로 분해하여 각각 별도로 관련성 점수를 계산한다.
• 최종 레이어에서 GRU 및 GCN 구성 요소를 통해 관련성 점수를 역전파하여 각 타임스탬프에서 노드 특징의 중요도를 할당한다.
• 시간 단위로 관련성 점수를 집계하여 시간 의존성을 반영한 종합적인 설명을 생성한다.
• 나눗셈 오류를 방지하기 위해 관련성 전파를 안정화시키기 위해 고정된 에프실론(ε = 0.0001)을 사용한다.
• 동적 그래프 데이터에서 링크 예측 및 노드 회귀 작업에 이 프레임워크를 적용한다.

실험 결과

연구 질문

• RQ1 시간에 따라 변화하는 동적 GNN의 예측을 신뢰성 있게 설명할 수 있는 방법은 무엇인가?
• RQ2 관련성 역전파가 동적 그래프에서 노드 중요도의 시간적 진화를 효과적으로 포착할 수 있는가?
• RQ3 정밀도, 희박성, 안정성 측면에서 제안된 방법은 기존의 설명 기준 방법과 어떻게 비교되는가?
• RQ4 작은 입력 변화에 대해 안정성을 유지하면서도 모델 정밀도를 얼마나 잘 유지하는가?
• RQ5 이 방법은 그래프 스냅샷 간의 시간에 따라 변화하는 노드 기여 패턴을 의미 있는 방식으로 식별할 수 있는가?

주요 결과

• DGExplainer는 대부분의 데이터셋에서 가장 높은 정밀도 점수를 기록했으며, 상위-k 중요한 노드를 차단했을 때도 예측 정확도를 잘 유지하는 데서 최고의 성능를 보였다.
• 이 방법은 가장 높은 희박성을 기록하여 모델 예측에 핵심적인 영향을 미치는 최소한의 핵심 노드 집합을 효과적으로 식별함을 나타낸다.
• 안정성 평가에서 DGExplainer는 Grad × Input(0.211 대비 0.286 평균)를 능가했으며, SA와는 유사한 성능를 보였지만 일부 경우에서는 SA만큼 강력하지는 않았다.
• PeMS04에 대한 정성적 시각화 결과, DGExplainer는 t=1과 t=2에서 노드 7이 매우 영향력 있는 것으로 정확히 식별했으며, t=2에 들어와서는 새로운 교통 패턴으로 인해 노드 8가 두드러지게 부각됨을 보였다.
• 이 프레임워크는 시간 의존성을 성공적으로 캡슐화했으며, 관련성 점수들이 타임스탬프 간에 의미 있는 방식으로 이동하여 변화하는 그래프 역학을 반영했다.
• 6개의 실세계 데이터셋에 대한 실증 결과는 DGExplainer가 링크 예측 및 노드 회귀 작업 모두에 대해 정밀도, 희박성, 안정성을 확보한 신뢰할 수 있는 설명을 제공함을 확인했다.