[论文解读] Graph-based Representation for Image based on Granular-ball

Xia Shuyin, Dawei Dai+5 more|arXiv (Cornell University)|Mar 4, 2023

Slime Mold and Myxomycetes Research被引用 4

一句话总结

该论文提出了一种基于图的图像表征方法，利用从像素级数据导出的自适应颗粒矩形单位，其中每个节点代表一个结构一致的区域，边编码空间关系。该方法在参数更少的情况下实现了更高的分类准确率，并通过注意力可视化增强了模型的可解释性，相较于像素级深度学习模型，表现出更高的效率、鲁棒性和可理解性。

ABSTRACT

Current image processing methods usually operate on the finest-granularity unit; that is, the pixel, which leads to challenges in terms of efficiency, robustness, and understandability in deep learning models. We present an improved granular-ball computing method to represent the image as a graph, in which each node expresses a structural block in the image and each edge represents the association between two nodes. Specifically:(1) We design a gradient-based strategy for the adaptive reorganization of all pixels in the image into numerous rectangular regions, each of which can be regarded as one node. (2) Each node has a connection edge with the nodes with which it shares regions. (3) We design a low-dimensional vector as the attribute of each node. All nodes and their corresponding edges form a graphical representation of a digital image. In the experiments, our proposed graph representation is applied to benchmark datasets for image classification tasks, and the efficiency and good understandability demonstrate that our proposed method offers significant potential in artificial intelligence theory and application.

研究动机与目标

• 为解决深度学习中像素级处理的局限性，包括鲁棒性差、效率低以及缺乏可解释性。
• 开发一种多粒度、结构感知的图像表征，使其更符合人类的认知过程。
• 构建一种基于图的图像表征，其中节点对应于结构一致的图像区域，边编码空间关联关系。
• 在图像分类任务中，利用图神经网络（GNNs）评估所提出的表征方法。
• 通过在推理过程中可视化图节点上的注意力分数，提升模型的可解释性。

提出的方法

• 采用基于梯度的自适应重组策略，将相似像素聚合成矩形区域，替代颗粒球计算中的原始球描述符。
• 每个矩形区域被视为图中的一个节点，相邻或重叠的区域之间建立边连接。
• 基于其组成像素的统计特性，为每个节点分配一个低维向量，以捕捉局部纹理和强度特征。
• 将所得图结构输入图注意力网络（GAT）进行图像分类，实现对结构单元的消息传递。
• 模型利用注意力机制在推理过程中突出关键区域，提升可解释性。
• 训练采用Adam优化器，配合学习率递减调度策略，并在验证误差趋于平稳时启用早停。

实验结果

研究问题

• RQ1 与像素级处理相比，基于自适应矩形颗粒单元的图结构图像表征是否能提升模型效率和鲁棒性？
• RQ2 所提出的图表征是否能增强深度学习模型在图像分类任务中的可解释性？
• RQ3 基于该图表征的GNN在标准基准测试中的性能与传统CNN和GNN相比如何？
• RQ4 在分类过程中，GAT中的注意力机制在多大程度上能突出有意义的图像区域？
• RQ5 所提出的方法是否能在保持或提升分类准确率的同时减少模型参数？

主要发现

• 基于所提图表征的GAT模型在MNIST和CIFAR-10数据集上的测试准确率均高于所有基线GNN模型。
• 基于所提表征的GAT模型的参数量显著少于传统GNNs。
• 尽管初始收敛速度略慢，但该模型在更低的训练误差处收敛，表明其具备强大的优化能力。
• 注意力可视化显示，正确预测聚焦于物体表面，而错误预测则受背景区域驱动，证实了模型的可解释性。
• 该图表征有效捕捉了结构和语义信息，使GNN在测试数据集上的泛化能力优于标准深度神经网络。
• 该方法在构建高效、鲁棒且可解释的计算机视觉AI模型方面展现出巨大潜力。