[논문 리뷰] XAI for Graphs: Explaining Graph Neural Network Predictions by Identifying Relevant Walks

Thomas Schnake, Oliver Eberle외 5명|arXiv (Cornell University)|2020. 06. 05.

Advanced Graph Neural Networks참고 문헌 11인용 수 25

한 줄 요약

이 논문은 고차원 테일러 전개와 다중 역전파 프로세스를 활용하여 예측을 입력 그래프 상의 관련 있는 워크들로 분해하는 새로운 XAI 방법인 GNN-LRP를 제안한다. 표준 기울기 전파 방식을 계층별 관련성 전파(layer-wise relevance propagation)로 대체함으로써, 분자의 그래프나 이미지 격자와 같은 다양한 그래프 유형에서 안정적이고 정확하며 해석 가능한 설명을 제공한다.

ABSTRACT

Graph Neural Networks (GNNs) are a popular approach for predicting graph structured data. As GNNs tightly entangle the input graph into the neural network structure, common explainable AI (XAI) approaches are not applicable. To a large extent, GNNs have remained black-boxes for the user so far. In this paper, we contribute by proposing a new XAI approach for GNNs. Our approach is derived from high-order Taylor expansions and is able to generate a decomposition of the GNN prediction as a collection of relevant walks on the input graph. We find that these high-order Taylor expansions can be equivalently (and more simply) computed using multiple backpropagation passes from the top layer of the GNN to the first layer. The explanation can then be further robustified and generalized by using layer-wise-relevance propagation (LRP) in place of the standard equations for gradient propagation. Our novel method which we denote as 'GNN-LRP' is tested on scale-free graphs, sentence parsing trees, molecular graphs, and pixel lattices representing images. In each case, it performs stably and accurately, and delivers interesting and novel application insights.

연구 동기 및 목표

• 그래프 구조 데이터 응용 분야에서 사용자 신뢰도와 해석 가능성에 제약을 가중하는 그래프 신경망(GNN)의 투명성 부족 문제를 해결하기 위해.
• GNN의 구조적 얽힘 구조를 고려하지 않는 표준 XAI 방법의 한계를 극복하고, GNN에 특화된 설명 가능성 AI(XAI) 접근법을 개발하기 위해.
• GNN 예측을 의미 있는 인간이 이해할 수 있는 구성요소—특히 입력 그래프 상의 관련 워크—로 분해할 수 있도록 하기 위해.
• 기울기 계산 과정에 계층별 관련성 전파(LRP)를 통합함으로써 설명의 강인성과 일반화 능력을 향상시키기 위해.

제안 방법

• GNN 출력에 대한 입력 그래프에 대한 고차원 테일러 전개를 기반으로 하여, 예측을 개별 워크의 기여도로 분해할 수 있도록 한다.
• 최종 GNN 레이어에서 입력 레이어로 향하는 다중 역전파 프로세스를 활용해 이러한 고차원 전개를 효율적으로 계산한다.
• 기울기 기반 관련성 할당 방식 대신 계층별 관련성 전파(LRP)를 적용하여 설명의 안정성과 강인성을 향상시킨다.
• 결과적으로 도출된 관련성 점수는 그래프 내 워크에 할당되어 GNN의 최종 예측에 가장 영향을 미친 워크를 강조한다.
• 스케일프리 네트워크, 문장 분석 트리, 분자의 그래프, 픽셀 격자 등 다양한 그래프 유형으로 일반화 가능하도록 설계되었다.
• 예측에 기여도가 높은 워크를 식별하고 순위를 매김으로써 설명을 생성한다.

실험 결과

연구 질문

• RQ1 고차원 테일러 전개를 활용해 그래프 구조 데이터에서 GNN 예측을 해석 가능한 워크 기반 성분으로 효과적으로 분해할 수 있는가?
• RQ2 다중 역전파 프로세스를 어떻게 활용하여 이러한 전개를 효율적이고 정확하게 계산할 수 있는가?
• RQ3 표준 기울기 전파 방식을 계층별 관련성 전파(LRP)로 대체할 경우, GNN 설명의 안정성과 신뢰성은 어느 정도 향상되는가?
• RQ4 GNN-LRP가 분자의 그래프, 문장 분석 트리, 이미지 격자와 같은 다양한 그래프 유형에서 어떻게 성능을 발휘하는가?
• RQ5 표준 해석 가능성 기법으로는 드러나지 않는 새로운 의미 있는 통찰을 GNN의 동작 방식에 대해 드러내는 데에 이 방법이 성공적인가?

주요 결과

• GNN-LRP는 GNN 예측을 입력 그래프 상의 관련 워크 집합으로 성공적으로 분해하여, 이해하기 쉬우며 인간이 읽을 수 있는 설명을 제공한다.
• 스케일프리 그래프, 분자의 그래프, 이미지를 나타내는 픽셀 격자 등 다양한 그래프 유형에서 안정적이고 정확한 설명을 달성한다.
• 계층별 관련성 전파(LRP)의 통합은 표준 기울기 기반 방법에 비해 설명의 강인성과 일반화 능력을 크게 향상시킨다.
• 특히 분자의 그래프 분석 및 자연어 분석 작업에서 새로운 의미 있는 응용 통찰을 드러낸다.
• 고차원 테일러 전개의 사용은 그래프 구조 내 고차원 상호작용을 포착함으로써 GNN 동작에 대한 더 세밀한 이해를 가능하게 한다.
• 다양한 벤치마크에서 일관된 성능을 보이며, 실제 그래프 구조 예측 작업에 대한 일반화 능력이 뛰어나다는 것을 입증한다.