[论文解读] GNNLens: A Visual Analytics Approach for Prediction Error Diagnosis of Graph Neural Networks

Zhihua Jin, Yong Wang+4 more|arXiv (Cornell University)|Nov 22, 2020

Data Visualization and Analytics被引用 6

一句话总结

GNNLens 是一个视觉分析系统，通过整合多种关联的可视化方式，揭示节点特征、图拓扑和模型行为中的错误模式，从而诊断图神经网络（GNNs）的预测错误。该系统使用户能够通过对比分析 GNN、MLP 和 GNNWUF 模型，识别、探索并提出关于错误成因的假设，其有效性通过案例研究和专家反馈得到验证。

ABSTRACT

Graph Neural Networks (GNNs) aim to extend deep learning techniques to graph data and have achieved significant progress in graph analysis tasks (e.g., node classification) in recent years. However, similar to other deep neural networks like Convolutional Neural Networks (CNNs) and Recurrent Neural Networks (RNNs), GNNs behave like a black box with their details hidden from model developers and users. It is therefore difficult to diagnose possible errors of GNNs. Despite many visual analytics studies being done on CNNs and RNNs, little research has addressed the challenges for GNNs. This paper fills the research gap with an interactive visual analysis tool, GNNLens, to assist model developers and users in understanding and analyzing GNNs. Specifically, Parallel Sets View and Projection View enable users to quickly identify and validate error patterns in the set of wrong predictions; Graph View and Feature Matrix View offer a detailed analysis of individual nodes to assist users in forming hypotheses about the error patterns. Since GNNs jointly model the graph structure and the node features, we reveal the relative influences of the two types of information by comparing the predictions of three models: GNN, Multi-Layer Perceptron (MLP), and GNN Without Using Features (GNNWUF). Two case studies and interviews with domain experts demonstrate the effectiveness of GNNLens in facilitating the understanding of GNN models and their errors.

研究动机与目标

• 为解决缺乏用于诊断大规模 GNN 预测错误的视觉分析工具，特别是针对跨错误模式的诊断需求。
• 支持模型开发者通过关联节点级特征、图结构和模型输出，理解 GNN 产生特定错误的原因。
• 通过对比分析 GNN 与 MLP 及 GNNWUF 模型，实现对特征与拓扑在预测中影响的解耦。
• 提供一个交互式、多视图界面，支持在 GNN 中形成假设和发现错误模式。
• 通过真实世界 GNN 分析任务中的案例研究和专家访谈，验证该系统在实际应用中的有效性。

提出的方法

• 该系统集成了五个视图：控制面板、并行集视图、投影视图、图视图和特征矩阵视图，所有视图均相互链接，支持交互式探索。
• 并行集视图可视化了不同预测结果下的节点属性分布，有助于快速识别易出错的群体。
• 投影视图使用符号将高维节点度量投影到二维空间，支持聚类检测和套索选择。
• 图视图渲染用户所选节点周围的局部子图，用于分析拓扑对预测的影响。
• 特征矩阵视图显示节点特征分布，支持对比正确与错误预测中的特征表现。
• 系统通过对比 GNN、MLP 和 GNNWUF 三种模型的预测结果，分离出特征与拓扑对预测错误的相对贡献。

实验结果

研究问题

• RQ1 鉴于 GNN 依赖图结构和节点特征，如何有效适配视觉分析技术以诊断其错误模式？
• RQ2 何种可视化设计能够支持在 GNN 预测中发现节点群体的共性错误模式？
• RQ3 如何在视觉上整合对比建模（GNN 与 MLP 及 GNNWUF）以解耦特征与拓扑对 GNN 错误的影响？
• RQ4 交互式视觉分析工具（如 GNNLens）在多大程度上能支持专家形成假设并调试真实 GNN 工作流中的模型？
• RQ5 用户如何评价此类系统在诊断 GNN 预测失败方面的可用性与有效性？

主要发现

• GNNLens 通过关联可视化节点特征、图拓扑和模型输出，成功使用户能够识别并验证 GNN 预测中的重复错误模式。
• 与 MLP 和 GNNWUF 模型的对比分析表明，节点特征和图结构均显著影响 GNN 预测错误，其贡献程度因数据集而异。
• 专家访谈证实，GNNLens 有效支持关于错误成因的假设生成，并为模型优化提供可操作的洞察。
• 通过引入分层聚类，投影视图提升了可扩展性，即使存在视觉杂乱，用户仍能有效探索最多 300 个节点。
• 用户最初认为基于符号的投影视图较难理解，但添加图例和视图间联动高亮后，其收益显著提升。
• 在两个真实世界案例研究中，系统表现出强大的可用性，使用户能够将错误模式追溯至特定的结构或特征异常。