[论文解读] Understanding Graph Isomorphism Network for rs-fMRI Functional Connectivity Analysis

Byung-Hoon Kim, Jong Chul Ye|arXiv (Cornell University)|Jan 10, 2020

Functional Brain Connectivity Studies参考文献 56被引用 6

一句话总结

本文提出了一种基于图同构网络（GIN）的可解释静息态功能磁共振成像（rs-fMRI）功能连接分析框架，利用Grad-CAM结合独热编码节点特征，可视化具有神经科学可解释性的脑区。实验表明，该方法在分类性能上表现优越，显著性图与已知的脑连接性别差异一致。

ABSTRACT

Graph neural networks (GNN) rely on graph operations that include neural network training for various graph related tasks. Recently, several attempts have been made to apply the GNNs to functional magnetic resonance image (fMRI) data. Despite recent progresses, a common limitation is its difficulty to explain the classification results in a neuroscientifically explainable way. Here, we develop a framework for analyzing the fMRI data using the Graph Isomorphism Network (GIN), which was recently proposed as a powerful GNN for graph classification. One of the important contributions of this paper is the observation that the GIN is a dual representation of convolutional neural network (CNN) in the graph space where the shift operation is defined using the adjacency matrix. This understanding enables us to exploit CNN-based saliency map techniques for the GNN, which we tailor to the proposed GIN with one-hot encoding, to visualize the important regions of the brain. We validate our proposed framework using large-scale resting-state fMRI (rs-fMRI) data for classifying the sex of the subject based on the graph structure of the brain. The experiment was consistent with our expectation such that the obtained saliency map show high correspondence with previous neuroimaging evidences related to sex differences.

研究动机与目标

• 解决图神经网络（GNN）应用于fMRI数据时缺乏神经科学可解释性的问题。
• 通过将基于CNN的Grad-CAM技术适配至图空间，实现在GNN中进行显著性图映射。
• 在大规模rs-fMRI数据上验证该框架在图结构脑网络中的性别分类性能。
• 证明脑区（ROIs）的独热编码可同时提升模型的判别能力与显著性图的可解释性。
• 提供GIN在图空间中作为CNN的双重表示形式，其中邻接矩阵作为广义平移算子。

提出的方法

• 将GIN形式化为CNN在图空间中的双重表示，其中邻接矩阵作为广义平移算子。
• 通过在输入层应用Grad-CAM并结合独热编码节点特征，将梯度加权类激活映射（Grad-CAM）适配至GIN。
• 采用脑区（ROIs）的独热编码，确保输入节点特征的线性独立性，防止判别能力损失。
• 将GIN模型应用于rs-fMRI数据，其中功能连接通过ROIs时间序列间的皮尔逊相关系数计算。
• 利用GIN架构结合注入式聚合、组合与读出函数，执行受试者性别的图分类。
• 通过反向传播梯度至GIN模型，可视化显著性图，识别对分类贡献关键的ROIs。

实验结果

研究问题

• RQ1 GIN能否被解释为图空间中CNN的对偶形式，从而实现对基于CNN的可解释性工具（如Grad-CAM）的适配？
• RQ2 脑区ROIs的独热编码是否能提升GIN在fMRI分类中的判别能力与可解释性？
• RQ3 通过GIN中Grad-CAM生成的显著性图能否揭示与rs-fMRI中性别差异相关的神经科学上有意义的脑区？
• RQ4 与先前的GNN方法相比，所提出的基于GIN的框架在分类准确率与可解释性方面表现如何？
• RQ5 当应用于大规模rs-fMRI数据集时，GIN模型的性能与可解释性是否具有鲁棒性？

主要发现

• GIN模型在使用rs-fMRI图数据区分受试者性别方面表现出优越的分类性能。
• 通过结合独热编码的Grad-CAM生成的显著性图，突出了与既往神经影像学证据中性别差异一致的脑区。
• 独热编码确保了节点特征的线性独立性，保留了模型的判别能力，并实现了可靠的显著性可视化。
• 理论框架确立了GIN在图空间中作为CNN的对偶形式，其中邻接矩阵作为广义平移算子。
• 在输入层计算的显著性图最具信息量，证实了在GNN中特征级归因的重要性。
• 该方法成功弥合了GNN与可解释人工智能在神经影像学中的应用，为解释基于图的fMRI模型提供了实用工具。