[논문 리뷰] GNNLens: A Visual Analytics Approach for Prediction Error Diagnosis of Graph Neural Networks

Zhihua Jin, Yong Wang외 4명|arXiv (Cornell University)|2020. 11. 22.

Data Visualization and Analytics인용 수 6

한 줄 요약

GNNLens는 노드 특성, 그래프 구조, 모델 행동의 오차 패턴을 드러내기 위해 다수의 연결된 시각화를 통합하여 그래프 신경망(GNN)의 예측 오차를 진단하는 시각적 분석 시스템이다. 사용자가 GNN, MLP, GNNWUF 모델 간의 비교 분석을 통해 오차 원인을 식별하고 탐색하며 가설을 세울 수 있도록 지원하며, 사례 연구와 전문가 피드백을 통해 효과성을 입증한다.

ABSTRACT

Graph Neural Networks (GNNs) aim to extend deep learning techniques to graph data and have achieved significant progress in graph analysis tasks (e.g., node classification) in recent years. However, similar to other deep neural networks like Convolutional Neural Networks (CNNs) and Recurrent Neural Networks (RNNs), GNNs behave like a black box with their details hidden from model developers and users. It is therefore difficult to diagnose possible errors of GNNs. Despite many visual analytics studies being done on CNNs and RNNs, little research has addressed the challenges for GNNs. This paper fills the research gap with an interactive visual analysis tool, GNNLens, to assist model developers and users in understanding and analyzing GNNs. Specifically, Parallel Sets View and Projection View enable users to quickly identify and validate error patterns in the set of wrong predictions; Graph View and Feature Matrix View offer a detailed analysis of individual nodes to assist users in forming hypotheses about the error patterns. Since GNNs jointly model the graph structure and the node features, we reveal the relative influences of the two types of information by comparing the predictions of three models: GNN, Multi-Layer Perceptron (MLP), and GNN Without Using Features (GNNWUF). Two case studies and interviews with domain experts demonstrate the effectiveness of GNNLens in facilitating the understanding of GNN models and their errors.

연구 동기 및 목표

• GNN 예측 오차를 진단하기 위한 시각적 분석 도구의 부족, 특히 대규모 및 다양한 오차 패턴에 걸쳐서의 부족을 해결하기 위해.
• 노드 수준의 특성, 그래프 구조, 모델 출력을 연결하여 GNN이 특정 오차를 내는 이유를 이해할 수 있도록 지원하기 위해.
• 특성과 구조의 영향을 분리하기 위해 GNN, MLP, GNNWUF 모델 간의 비교 분석을 가능하게 하여 예측 오차에 미치는 기여도를 분석하기 위해.
• 가설 수립과 GNN의 오차 패턴 탐색을 지원하는 상호작용 가능하고 다중 시각화 인터페이스를 제공하기 위해.
• 실제 GNN 분석 작업에서의 사례 연구와 전문가 인터뷰를 통해 시스템의 유용성을 검증하기 위해.

제안 방법

• 시스템은 제어 패널, 평행 집합 시각화, 투영 시각화, 그래프 시각화, 특성 행렬 시각화의 다섯 가지 뷰를 통합하여 상호 연결된 인터랙티브 탐색을 지원한다.
• 평행 집합 시각화는 예측 결과에 따라 노드 속성 분포를 시각화하여 오류를 일으킬 만한 그룹을 신속하게 식별할 수 있도록 한다.
• 투영 시각화는 고차원 노드 메트릭을 2차원 공간으로 투영하기 위해 기호를 사용하며, 군집 탐지 및 라소 기반 선택을 지원한다.
• 그래프 시각화는 사용자가 선택한 노드 주변의 국소 서브그래프를 렌더링하여 예측에 영향을 주는 구조적 요소를 분석한다.
• 특성 행렬 시각화는 노드 특성 분포를 표시하여 정확한 예측과 잘못된 예측 간의 특성 비교를 가능하게 한다.
• 시스템은 GNN, MLP, GNNWUF 세 가지 모델의 예측을 비교하여 특성과 구조가 예측 오차에 미치는 상대 기여도를 분리한다.

실험 결과

연구 질문

• RQ1 그래프 구조와 노드 특성에 모두 의존하는 GNN의 특성에 비추어 볼 때, 오차 패턴을 진단하기 위해 시각적 분석 기법을 효과적으로 어떻게 적응시킬 수 있는가?
• RQ2 GNN 예측에서 노드 그룹 간의 공통 오차 패턴을 탐색하기 위해 어떤 시각화 설계가 유용한가?
• RQ3 특성과 구조의 영향을 분리하기 위해 GNN, MLP, GNNWUF 모델 간의 비교 모델링을 어떻게 시각적으로 통합할 수 있는가?
• RQ4 GNNLens와 같은 상호작용 가능한 시각적 분석 도구가 실제 GNN 워크플로우에서 전문가의 가설 수립과 모델 디버깅을 어느 정도 지원할 수 있는가?
• RQ5 사용자들은 이러한 시스템이 GNN 예측 실패를 진단하는 데 있어 사용성과 효과성 측면에서 어떻게 평가하는가?

주요 결과

• GNNLens는 특성, 구조, 모델 출력의 연결된 시각적 탐색을 통해 사용자가 GNN 예측에서 반복적인 오차 패턴을 식별하고 검증하는 데 성공적으로 기여했다.
• MLP 및 GNNWUF 모델과의 비교 분석을 통해 노드 특성과 그래프 구조가 GNN 예측 오차에 상당한 영향을 미치며, 데이터셋에 따라 기여도가 다름을 확인했다.
• 전문가 인터뷰 결과, GNNLens는 오차 원인에 대한 효과적인 가설 생성을 지원하며 모델 개선을 위한 실질적인 통찰을 제공함을 확인했다.
• 계층적 클러스터링을 통한 향상된 투영 시각화는 확장성을 향상시켜 시각적 혼잡에도 불구하고 최대 300개의 노드를 효과적으로 탐색할 수 있도록 했다.
• 사용자들은 기호 기반 투영 시각화를 처음에는 어려움을 느꼈지만, 레전드 추가 및 뷰 간 연결 강조 기능이 추가된 후 큰 도움을 받았다.
• 두 개의 실세계 사례 연구에서 시스템은 강력한 사용성과 함께 특정 구조적 또는 특성 기반 이상 현상으로 인한 오차 패턴을 추적하는 데 성공했다.