[논문 리뷰] GNNVis: A Visual Analytics Approach for Prediction Error Diagnosis of Graph Neural Networks.

Zhihua Jin, Yong Wang외 4명|arXiv (Cornell University)|2020. 11. 22.

Data Visualization and Analytics참고 문헌 60인용 수 4

한 줄 요약

GNNVis는 그래프 신경망(GNNs)의 예측 오류를 진단하기 위해 GNN, MLP 및 GNNWUF 모델 간의 예측을 비교하는 상호작용형 시각 분석 도구입니다. 평행 세트, 투영, 그래프 및 특성 행렬 뷰를 활용하여 오류 패턴을 드러내고 그래프 구조와 노드 특성의 영향을 분리하여 개발자가 GNN 오류를 체계적으로 식별하고 이해할 수 있도록 합니다.

ABSTRACT

Graph Neural Networks (GNNs) aim to extend deep learning techniques to graph data and have achieved significant progress in graph analysis tasks (e.g., node classification) in recent years. However, similar to other deep neural networks like Convolutional Neural Networks (CNNs) and Recurrent Neural Networks (RNNs), GNNs behave like a black box with their details hidden from model developers and users. It is therefore difficult to diagnose possible errors of GNNs. Despite many visual analytics studies being done on CNNs and RNNs, little research has addressed the challenges for GNNs. This paper fills the research gap with an interactive visual analysis tool, GNNVis, to assist model developers and users in understanding and analyzing GNNs. Specifically, Parallel Sets View and Projection View enable users to quickly identify and validate error patterns in the set of wrong predictions; Graph View and Feature Matrix View offer a detailed analysis of individual nodes to assist users in forming hypotheses about the error patterns. Since GNNs jointly model the graph structure and the node features, we reveal the relative influences of the two types of information by comparing the predictions of three models: GNN, Multi-Layer Perceptron (MLP), and GNN Without Using Features (GNNWUF). Two case studies and interviews with domain experts demonstrate the effectiveness of GNNVis in facilitating the understanding of GNN models and their errors.

연구 동기 및 목표

• 그래프 신경망(GNNs)의 예측 오류를 진단하기 위한 시각 분석 도구의 부족을 해결하기 위해.
• 모델 개발자와 사용자가 상호작용형 시각화를 통해 잘못된 예측의 오류 패턴을 식별하고 검증하며 이해할 수 있도록 하기 위해.
• GNN, MLP 및 GNNWUF 모델 간의 예측 비교를 통해 그래프 구조와 노드 특성이 GNN 예측 오류에 미치는 기여도를 분리하기 위해.
• 그래프 및 특성 행렬 뷰를 활용한 노드 수준의 세부 분석을 통해 오류 원인에 대한 가설 수립을 지원하기 위해.

제안 방법

• 오류 예측 전역 패턴을 탐지하고 검증하기 위해 평행 세트 뷰와 투영 뷰를 활용합니다.
• 오류 원인에 대한 가설 수립을 위해 그래프 뷰와 특성 행렬 뷰를 활용해 노드 수준의 세부 분석을 수행합니다.
• GNN, MLP 및 GNNWUF 모델의 예측을 비교하여 예측 오류에 미치는 그래프 구조와 노드 특성의 영향을 분리합니다.
• 노드 특성, 그래프 구조, 잘못된 분류 결과 간의 관계를 탐색할 수 있도록 상호작용형 시각 요소를 통합합니다.
• GNN 오류 진단 과정에서 반복적인 탐색과 가설 정밀 조정을 지원하는 시각화 파이프라인을 설계합니다.
• 동일한 데이터에 대해 GNN, MLP(구조 무관) 및 GNNWUF(특성 무관) 모델을 훈련하고 대조함으로써 비교 분석을 지원합니다.

실험 결과

연구 질문

• RQ1 시각 분석 기법을 어떻게 효과적으로 적용하여 그래프 신경망의 예측 오류를 진단하고 이해할 수 있는가?
• RQ2 그래프 구조와 노드 특성이 GNN 예측 오류에 개별적으로 기여하는 역할은 무엇인가?
• RQ3 상호작용형 시각 인터페이스는 대규모 잘못 분류된 노드 집합에서 오류 패턴을 식별하고 검증하는 데 모델 개발자에게 어떻게 기여하는가?
• RQ4 GNN, MLP 및 GNNWUF 모델의 예측을 비교함으로써 오류 원인 중 구조적 요인과 특성 기반 요인을 얼마나 잘 분리할 수 있는가?
• RQ5 제안된 시각 분석 도구는 실제 세계의 GNN 오류 진단 과정에서 전문 사용자에게 얼마나 효과적인가?

주요 결과

• GNN, MLP 및 GNNWUF 모델 간의 비교를 통해 그래프 구조와 노드 특성이 모두 GNN 예측 오류에 상당한 영향을 미치며, 각 모델에서 고유한 오류 패턴이 나타남을 확인함.
• 평행 세트 뷰와 투영 뷰를 통해 잘못 분류된 노드 간의 반복 오류 패턴을 효율적으로 식별하여 오류 탐지 속도와 정확도를 향상시킴.
• 그래프 뷰와 특성 행렬 뷰를 통해 사용자가 개별 노드를 세부적으로 분석할 수 있었으며, 특성 희소성 또는 구조적 모호성과 같은 오류 원인에 대한 실행 가능한 가설 수립에 기여함.
• 사례 연구를 통해 GNNVis가 노드 특성 분포와 국소적 그래프 구조와 관련된 이전에 발견되지 않은 오류 패턴을 드러내는 데 기여함.
• 전문가 인터뷰를 통해 GNNVis가 모델 출력만으로는 어려운 GNN 동작 해석과 오류 진단 능력을 향상시키는 데 효과적임을 확인함.
• 도구의 상호작용 설계가 반복적 탐색을 지원하여 사용자가 특성, 구조 및 예측 간의 시각적 상관관계를 통해 가설을 정밀 조정하고 오류 설명을 검증할 수 있도록 함.