[논문 리뷰] Explaining the Explainers in Graph Neural Networks: a Comparative Study

Antonio Longa, Steve Azzolin외 5명|arXiv (Cornell University)|2022. 10. 27.

Advanced Graph Neural Networks인용 수 5

한 줄 요약

이 논문은 여섯 개의 그래프 및 노드 분류 데이터셋에서 여덟 개의 GNN 아키텍처를 대상으로 열 개의 GNN 해석기의 체계적인 실험적 평가를 수행한다. 그 결과, 설명 가능성은 아키텍처와 해석기 유형에 따라 크게 달라지며, 기울기 기반 방법은 노드 분류에서 뛰어난 성능을 보이고, 엣지 중심 해석기는 그래프 분류에서 노드 기반 해석기보다 뛰어나며, 특히 특징이 없는 경우 두드러진다.

ABSTRACT

Following a fast initial breakthrough in graph based learning, Graph Neural Networks (GNNs) have reached a widespread application in many science and engineering fields, prompting the need for methods to understand their decision process. GNN explainers have started to emerge in recent years, with a multitude of methods both novel or adapted from other domains. To sort out this plethora of alternative approaches, several studies have benchmarked the performance of different explainers in terms of various explainability metrics. However, these earlier works make no attempts at providing insights into why different GNN architectures are more or less explainable, or which explainer should be preferred in a given setting. In this survey, we fill these gaps by devising a systematic experimental study, which tests ten explainers on eight representative architectures trained on six carefully designed graph and node classification datasets. With our results we provide key insights on the choice and applicability of GNN explainers, we isolate key components that make them usable and successful and provide recommendations on how to avoid common interpretation pitfalls. We conclude by highlighting open questions and directions of possible future research.

연구 동기 및 목표

• GNN 아키텍처와 해석기 유형이 설명 가능성에 미치는 영향을 체계적으로 평가할 필요가 부족한 문제를 해결하기 위해.
• 노드 분류 대비 그래프 분류, 특징 가용성 등 다양한 데이터 설정에서 가장 효과적인 해석기 방법을 특정하기 위해.
• 정밀도 편향과 인간 기반 참조 레이블링의 편향과 같은 해석기 평가의 일반적인 함정을 밝혀내기 위해.
• GNN 아키텍처와 작업 유형에 기반한 해석기 선택을 위한 실질적인 권고를 제공하기 위해.
• 특히 집계 메커니즘과 메트릭 설계의 영향을 고려할 때, GNN 설명 가능성 분야의 열린 과제를 부각하기 위해.

제안 방법

• GCN, GAT, GraphSAGE, GIN 등을 포함한 여덟 가지 대표적인 GNN 아키텍처에서 최신 10종의 해석기를 평가하였다.
• 노드 및 그래프 분류를 위한 여섯 개의 철저히 설계된 데이터셋을 사용하였으며, 구조적 및 특징적 성질을 통제하였다.
• 정확도, 종합성, 타당성, 충분성 등의 다수의 설명 가능성 메트릭을 적용하여 설명 품질을 평가하였다.
• GNN 아키텍처 구성 요소(예: 집계 메커니즘)가 설명 품질에 미치는 영향을 분리하기 위해 부트스트랩 분석을 수행하였다.
• 기울기 기반, 변형 기반, 분해 기반, 대체 모델 기반 등의 해석기 유형 간 비교를 수행하였다.
• 정밀도-타당성 트레이드오프를 기반으로 인간이 레이블링한 기준 설명과 모델이 생성한 설명 간 격차를 분석하였다.

실험 결과

연구 질문

• RQ1 RQ1: GNN 아키텍처의 선택이 설명의 품질과 일관성에 어떻게 영향을 미치는가?
• RQ2 RQ2: 다양한 GNN 아키텍처와 작업에서 기울기 기반, 변형 기반 등의 해석기 유형은 어떻게 성능을 내는가?
• RQ3 RQ3: 데이터 특성(예: 특징 가용성, 그래프 구조)은 해석기의 효과성에 어떻게 영향을 미치는가?
• RQ4 RQ4: 정밀도 편향과 기준 레이블링에서의 인간 편향 등 현재 평가 관행의 주요 함정은 무엇인가?
• RQ5 RQ5: 어떤 해석기 유형이 노드 분류와 그래프 분류에 가장 적합한가, 그리고 그 이유는 무엇인가?

주요 결과

• 기울기 기반 해석기는 노드 분류 작업에서 다른 유형보다 일관되게 뛰어난 성능을 보이며, 이는 목표 노드의 주변에 국한된 수신장역할 때문일 가능성이 높다.
• 특히 노드 특징이 없는 경우, 변형 또는 기울기 기반 기법을 사용하는 엣지 기반 해석기가 노드 기반 해석기보다 뚜렷이 뛰어나며, 그래프 분류에서 두드러진다.
• 정밀도만으로는 편향된 메트릭이다 — 특히 그래프 분류에서 합산 집계는 그래프 임베딩의 노름을 감소시켜, 정확한 부분 구조일지라도 정밀도를 낮춘다.
• 높은 정밀도와 낮은 타당성(또는 그 반대)의 불일치는 GNN이 인간이 기대하는 개념과 일치하지 않는 비직관적이거나 편향된 개념을 학습했다는 것을 시사할 수 있다.
• GNN 아키텍처는 본질적인 설명 가능성에서 상당한 차이를 보이며, 해석기가 진정으로 모델에 종속되지 않는다는 가정을 도전한다.
• GNN의 집계 메커니즘이 설명 가능성에 결정적인 영향을 미치지만, 아직 충분히 탐구되지 않은 영역이며, 향후 집계 인식 해석기 설계가 필요하다는 점을 시사한다.