[论文解读] GNNVis: A Visual Analytics Approach for Prediction Error Diagnosis of Graph Neural Networks.

Zhihua Jin, Yong Wang+4 more|arXiv (Cornell University)|Nov 22, 2020

Data Visualization and Analytics参考文献 60被引用 4

一句话总结

GNNVis 是一种交互式可视化分析工具，通过对比图神经网络（GNN）、多层感知机（MLP）和 GNNWUF 模型的预测结果，诊断图神经网络（GNN）中的预测错误。它利用并行集、投影、图结构和特征矩阵视图，揭示错误模式，并分离图结构与节点特征的影响，使开发者能够系统性地识别和理解 GNN 错误。

ABSTRACT

Graph Neural Networks (GNNs) aim to extend deep learning techniques to graph data and have achieved significant progress in graph analysis tasks (e.g., node classification) in recent years. However, similar to other deep neural networks like Convolutional Neural Networks (CNNs) and Recurrent Neural Networks (RNNs), GNNs behave like a black box with their details hidden from model developers and users. It is therefore difficult to diagnose possible errors of GNNs. Despite many visual analytics studies being done on CNNs and RNNs, little research has addressed the challenges for GNNs. This paper fills the research gap with an interactive visual analysis tool, GNNVis, to assist model developers and users in understanding and analyzing GNNs. Specifically, Parallel Sets View and Projection View enable users to quickly identify and validate error patterns in the set of wrong predictions; Graph View and Feature Matrix View offer a detailed analysis of individual nodes to assist users in forming hypotheses about the error patterns. Since GNNs jointly model the graph structure and the node features, we reveal the relative influences of the two types of information by comparing the predictions of three models: GNN, Multi-Layer Perceptron (MLP), and GNN Without Using Features (GNNWUF). Two case studies and interviews with domain experts demonstrate the effectiveness of GNNVis in facilitating the understanding of GNN models and their errors.

研究动机与目标

• 为解决图神经网络（GNN）预测错误缺乏可视化分析工具的问题，因为这些模型仍被视为黑箱。
• 使模型开发者和用户能够通过交互式可视化，识别、验证并理解 GNN 预测中的错误模式。
• 通过对比 GNN、MLP 和 GNNWUF 三种模型的预测结果，分离图结构与节点特征对 GNN 预测错误的相对贡献。
• 通过图视图和特征矩阵视图进行详细的节点级分析，支持关于错误成因的假设形成。

提出的方法

• 利用并行集视图和投影视图检测并验证跨错误预测的全局错误模式。
• 使用图视图和特征矩阵视图进行详细的节点级分析，以形成关于错误成因的假设。
• 通过对比 GNN、MLP 和 GNNWUF 三种模型的预测结果，分离图结构与节点特征对预测错误的影响。
• 集成交互式可视化组件，使用户能够探索节点特征、图拓扑与误分类结果之间的关系。
• 设计支持迭代探索与假设优化的可视化分析流程，用于 GNN 错误诊断。
• 通过在同一组数据上训练并对比 GNN、MLP（结构无关）和 GNNWUF（特征无关）模型，支持对比分析。

实验结果

研究问题

• RQ1 如何有效应用可视化分析技术来诊断和理解图神经网络中的预测错误？
• RQ2 图结构和节点特征在单独贡献 GNN 预测错误方面各自发挥什么作用？
• RQ3 交互式可视化界面在帮助模型开发者识别和验证大规模误分类节点中的错误模式方面发挥什么作用？
• RQ4 通过对比 GNN、MLP 和 GNNWUF 模型的预测结果，在多大程度上能够分离出结构相关与特征相关的错误来源？
• RQ5 所提出的可视化分析工具在真实世界 GNN 错误诊断中对专家用户的帮助效果如何？

主要发现

• GNN、MLP 和 GNNWUF 模型的对比表明，图结构和节点特征均显著影响 GNN 预测错误，且每种模型均呈现出独特的错误模式。
• 并行集视图和投影视图使用户能够高效识别误分类节点中的重复错误模式，提升了错误检测的速度与准确性。
• 图视图和特征矩阵视图使用户能够对单个节点进行详细分析，从而形成关于错误成因（如特征稀疏性或结构模糊性）的可操作假设。
• 案例研究显示，GNNVis 帮助用户发现了此前未被察觉的与节点特征分布和局部图拓扑相关的错误模式。
• 专家访谈证实，GNNVis 显著提升了用户对 GNN 行为的理解能力，并使错误诊断比仅依赖模型输出更为高效。
• 该工具的交互式设计支持迭代探索，使用户能够通过可视化关联特征、结构与预测结果，不断优化假设并验证错误解释。