[论文解读] Core-Periphery Principle Guided Redesign of Self-Attention in Transformers

Xiaowei Yu, Lu Zhang+7 more|PubMed|Mar 27, 2023

Advanced Memory and Neural Computing被引用 7

一句话总结

本文提出 CP-ViT，一种基于核心-外围（CP）结构的视觉变换器（Vision Transformers）自注意力机制重构方法，通过将图像块组织为稀疏的 CP 图结构，使核心节点通过基于梯度的图像块重分配机制整合与任务相关的图像块。该方法在准确性、效率和可解释性方面均有所提升，在 CIFAR-10、CIFAR-100、TinyImageNet 和 INbreast 数据集上实现了最先进性能，其设计原理源自大脑组织机制。

ABSTRACT

Designing more efficient, reliable, and explainable neural network architectures is critical to studies that are based on artificial intelligence (AI) techniques. Previous studies, by post-hoc analysis, have found that the best-performing ANNs surprisingly resemble biological neural networks (BNN), which indicates that ANNs and BNNs may share some common principles to achieve optimal performance in either machine learning or cognitive/behavior tasks. Inspired by this phenomenon, we proactively instill organizational principles of BNNs to guide the redesign of ANNs. We leverage the Core-Periphery (CP) organization, which is widely found in human brain networks, to guide the information communication mechanism in the self-attention of vision transformer (ViT) and name this novel framework as CP-ViT. In CP-ViT, the attention operation between nodes is defined by a sparse graph with a Core-Periphery structure (CP graph), where the core nodes are redesigned and reorganized to play an integrative role and serve as a center for other periphery nodes to exchange information. We evaluated the proposed CP-ViT on multiple public datasets, including medical image datasets (INbreast) and natural image datasets. Interestingly, by incorporating the BNN-derived principle (CP structure) into the redesign of ViT, our CP-ViT outperforms other state-of-the-art ANNs. In general, our work advances the state of the art in three aspects: 1) This work provides novel insights for brain-inspired AI: we can utilize the principles found in BNNs to guide and improve our ANN architecture design; 2) We show that there exist sweet spots of CP graphs that lead to CP-ViTs with significantly improved performance; and 3) The core nodes in CP-ViT correspond to task-related meaningful and important image patches, which can significantly enhance the interpretability of the trained deep model.

研究动机与目标

• 开发一种受大脑启发的神经网络架构，通过嵌入生物神经网络（BNNs）的组织原则，提升模型的效率、可靠性与可解释性。
• 探究人类大脑网络中常见的核心-外围（CP）结构是否可用于指导人工神经网络（ANN）架构，特别是自注意力机制的重构。
• 通过基于动态图像块重分配策略的机制，识别并集中信息流于与任务相关的图像块，从而提升模型性能。
• 通过将核心节点与具有高影响力、语义意义明确的图像块关联，提升模型的可解释性，这些图像块对分类结果贡献最大。

提出的方法

• 该方法引入一种具有核心-外围（CP）结构的稀疏图，用于定义图像块之间的注意力操作，其中核心节点作为信息整合的中心枢纽。
• 通过计算网络输出对图像块嵌入的梯度，评估图像块的重要性，利用特征维度上的全局平均池化获取图像块重要性权重：$\alpha_k = \frac{1}{Z} \sum_{i=1}^{Z} \frac{\partial y}{\partial P^k_i}$。
• 选择重要性权重最高的前 K 个图像块，并根据节点度数将其重新分配至核心节点，确保高影响力图像块优先参与中心处理。
• 图像块重分配在训练过程中动态更新，使核心节点能够自适应地聚焦于随训练进程而变化的最相关图像块。
• 该框架命名为 CP-ViT，用这种 CP 结构的消息传递机制替代视觉变换器中的标准自注意力机制，实现高效且可解释的特征聚合。
• 该方法包含对最优 CP 图配置的超参数搜索，识别出能最大化性能的“最佳区域”（sweet spots）。

实验结果

研究问题

• RQ1 能否主动利用来自生物神经网络的“核心-外围”（CP）组织原则，指导人工神经网络架构的设计？
• RQ2 在视觉变换器中引入 CP 结构的注意力机制，是否能相比标准自注意力机制带来更好的预测性能？
• RQ3 CP-ViT 中的核心节点是否能与与任务相关的图像块建立有意义的关联，从而增强模型的可解释性？
• RQ4 是否存在最优的 CP 图配置（即“最佳区域”），能显著提升模型的准确率与效率？
• RQ5 基于梯度重要性的动态图像块重分配是否能提升模型性能，同时减少计算浪费？

主要发现

• CP-ViT 在多个基准测试中超越了当前最先进模型，包括 CIFAR-10、CIFAR-100、TinyImageNet 和医学 INbreast 数据集。
• 通过动态重分配聚焦于与任务相关的图像块，模型在提升准确性的同时，有效降低了不必要的计算开销。
• CP-ViT 中的核心节点始终与具有高梯度重要性的图像块相关联，表明其与任务关键特征具有强对齐性。
• 存在最优的 CP 图配置，采用这些配置训练的模型表现出显著增强的性能，表明架构设计中存在“最佳区域”。
• 该方法增强了模型可解释性，因为核心节点对应于语义上意义明确且关键的图像块，使模型决策过程更具可理解性。