[논문 리뷰] Interpreting and Understanding Graph Convolutional Neural Network using Gradient-based Attribution Method

Shangsheng Xie, Mingming Lu|arXiv (Cornell University)|2019. 03. 09.

Advanced Graph Neural Networks인용 수 7

한 줄 요약

이 논문은 중심 노드와 그 이웃 노드가 모델 예측에 기여하는 정도를 정량화함으로써 그래프 컨볼루션 네트워크(GCNs)를 해석하기 위해 기울기 기반의 기여도 방법, 노드 기여도 방법(NAM)을 제안한다. 기존 방법들이 중심 노드 특성에만 초점을 맞추는 데 비해, NAM은 노드 특성과 그래프 구조의 상호작용을 포괄하여, 노드 중요도 시각화(NIV)를 통해 더 포괄적인 모델 해석을 가능하게 한다.

ABSTRACT

To solve the problem that convolutional neural networks (CNNs) are difficult to process non-grid type relational data like graphs, Kipf et al. proposed a graph convolutional neural network (GCN). The core idea of the GCN is to perform two-fold informational fusion for each node in a given graph during each iteration: the fusion of graph structure information and the fusion of node feature dimensions. Because of the characteristic of the combinatorial generalizations, GCN has been widely used in the fields of scene semantic relationship analysis, natural language processing and few-shot learning etc. However, due to its two-fold informational fusion involves mathematical irreversible calculations, it is hard to explain the decision reason for the prediction of the each node classification. Unfortunately, most of the existing attribution analysis methods concentrate on the models like CNNs, which are utilized to process grid-like data. It is difficult to apply those analysis methods to the GCN directly. It is because compared with the independence among CNNs input data, there is correlation between the GCN input data. This resulting in the existing attribution analysis methods can only obtain the partial model contribution from the central node features to the final decision of the GCN, but ignores the other model contribution from central node features and its neighbor nodes features to that decision. To this end, we propose a gradient attribution analysis method for the GCN called Node Attribution Method (NAM), which can get the model contribution from not only the central node but also its neighbor nodes to the GCN output. We also propose the Node Importance Visualization (NIV) method to visualize the central node and its neighbor nodes based on the value of the contribution...

연구 동기 및 목표

• GCN의 이중 정보 융합 과정에서 발생하는 역행 불가능한 수학적 연산으로 인한 해석 가능성 부족 문제를 해결하기 위해.
• GCN에서 중심 노드와 이웃 노드 간의 특성 상관관계를 고려하지 못하는 기존 기여도 방법의 한계를 극복하기 위해.
• 중심 노드 및 이웃 노드 특성의 전체 기여도를 GCN 예측에 반영할 수 있는 방법을 개발하기 위해.
• 노드 중요도 시각화(NIV)라는 새로운 시각화 기법을 통해 모델 결정 과정을 시각적으로 해석할 수 있도록 하기 위해.

제안 방법

• GCN에 특화된 기울기 기반 기여도 기법인 노드 기여도 방법(NAM)을 제안하여 출력 예측에 대한 입력 노드 특성 기여도를 계산한다.
• 출력 예측에 대한 입력 노드 특성의 기울기를 계산함으로써 중심 노드와 이웃 노드의 영향을 모두 포착한다.
• 기울기 기반 기여도 기법을 중심 노드뿐 아니라 이웃 노드에도 적용하여 그래프 내의 구조적 의존성을 고려한다.
• 계산된 기여도 점수를 중심 노드와 이웃 노드 전역에 걸쳐 그래픽적으로 표현하기 위해 노드 중요도 시각화(NIV)를 도입한다.
• 최종 예측에 대한 각 노드의 기여도 중요도를 노드 특성에 대한 손실의 기울기를 사용하여 정량화한다.
• CNN의 독립적 입력과는 다르게 상호의존적인 입력 구조를 가진 GCN을 다룰 수 있도록 표준 기여도 기법을 확장한다.

실험 결과

연구 질문

• RQ1 그래프 데이터의 구조적 의존성 때문에 중심 노드와 이웃 노드의 예측 기여도를 정확히 기여도 분석할 수 있는 방법은 무엇인가?
• RQ2 특성 상관관계가 있는 GCN에 적용할 때 기존 기울기 기반 기여도 방법의 한계는 무엇인가?
• RQ3 통합된 기여도 방법이 중심 노드에만 집중하는 방법보다 중심 노드와 이웃 노드의 기여도를 함께 반영하는 데 더 효과적인가?
• RQ4 GCN 결정 과정에서 노드와 이웃의 상대적 중요도를 어떻게 시각적으로 표현할 수 있는가?
• RQ5 제안된 방법이 기존 기울기 기반 기여도 기법에 비해 해석 가능성에서 얼마나 향상되는가?

주요 결과

• 제안된 노드 기여도 방법(NAM)은 중심 노드와 이웃 노드의 기여도를 성공적으로 포착하여 중심 노드 특성만 고려하는 기존 방법의 한계를 극복한다.
• NAM은 노드 특성과 그래프 구조 간의 상호의존성을 고려함으로써 GCN 결정 과정에 대한 더 포괄적인 이해를 가능하게 한다.
• 노드 중요도 시각화(NIV)는 핵심 노드와 이웃 노드를 효과적으로 강조하여 모델 행동에 대한 직관적인 통찰을 제공한다.
• 이웃 영향을 통합함으로써 표준 기울기 기반 기여도 기법보다 더 뛰어난 해석 가능성을 확보한다.
• 구조적 맥락이 중요한 작업, 예를 들어 노드 분류 과제에서 GCN 예측 분석을 향상시킬 수 있다.
• 실험 결과 NAM은 그래프 내 기대되는 구조적 관계와 일치하는 의미 있는 특성 중요도 패턴을 드러낸다.