[论文解读] HiFuse: Hierarchical Multi-Scale Feature Fusion Network for Medical Image Classification

Xiangzuo Huo, Gang Sun+6 more|arXiv (Cornell University)|Sep 21, 2022

Brain Tumor Detection and Classification被引用 16

一句话总结

HiFuse 提出了一种三分支分层多尺度特征融合网络，结合卷积神经网络（CNN）与 Transformer 的优势，用于医学图像分类。通过并行的局部与全局特征模块，以及自适应 HFF 模块实现感知尺度的特征融合，该方法在保持线性计算复杂度的同时，实现了最先进（SOTA）的分类准确率，在 Covid-19 数据集上相比基线模型最高提升 21.5%。

ABSTRACT

Medical image classification has developed rapidly under the impetus of the convolutional neural network (CNN). Due to the fixed size of the receptive field of the convolution kernel, it is difficult to capture the global features of medical images. Although the self-attention-based Transformer can model long-range dependencies, it has high computational complexity and lacks local inductive bias. Much research has demonstrated that global and local features are crucial for image classification. However, medical images have a lot of noisy, scattered features, intra-class variation, and inter-class similarities. This paper proposes a three-branch hierarchical multi-scale feature fusion network structure termed as HiFuse for medical image classification as a new method. It can fuse the advantages of Transformer and CNN from multi-scale hierarchies without destroying the respective modeling so as to improve the classification accuracy of various medical images. A parallel hierarchy of local and global feature blocks is designed to efficiently extract local features and global representations at various semantic scales, with the flexibility to model at different scales and linear computational complexity relevant to image size. Moreover, an adaptive hierarchical feature fusion block (HFF block) is designed to utilize the features obtained at different hierarchical levels comprehensively. The HFF block contains spatial attention, channel attention, residual inverted MLP, and shortcut to adaptively fuse semantic information between various scale features of each branch. The accuracy of our proposed model on the ISIC2018 dataset is 7.6% higher than baseline, 21.5% on the Covid-19 dataset, and 10.4% on the Kvasir dataset. Compared with other advanced models, the HiFuse model performs the best. Our code is open-source and available from https://github.com/huoxiangzuo/HiFuse.

研究动机与目标

• 通过有效融合全局与局部特征，解决医学图像中类内差异大与类间相似性高的挑战。
• 克服 CNN 固定感受野的局限性，以及 Transformer 自注意力机制在医学图像中计算成本高的问题。
• 设计一种可扩展、高效的网络架构，在不使用深层网络的前提下保持高性能，避免梯度消失与特征损失。
• 通过整合来自局部与全局分支的多尺度语义表征，提升在多样化医学图像数据集上的分类准确率。

提出的方法

• 提出一种三分支并行架构，配备专用的局部与全局特征模块，以提取多尺度的空间与语义表征。
• 引入一种自适应分层特征融合（HFF）模块，结合空间注意力、通道注意力、残差倒置 MLP 与跳跃连接，实现针对不同尺度的特征融合。
• 采用分层设计，支持在不同语义尺度上灵活建模，同时保持与图像尺寸呈线性关系的计算复杂度。
• 以 ConvNeXt 作为主干网络，并引入受 Swin Transformer 启发的模块，以平衡局部归纳偏置与长距离依赖建模能力。
• 应用丢弃路径正则化与深度缩放策略，以控制小样本医学图像数据集上的过拟合现象，并优化性能。
• 采用 2 折交叉验证与标准化数据划分方式，确保在 ISIC2018、Covid-19 与 Kvasir 等数据集上的公平比较。

实验结果

研究问题

• RQ1 分层多尺度融合框架是否能通过结合局部 CNN 与全局 Transformer 特征，提升医学图像分类的准确率？
• RQ2 与标准拼接或逐元素操作相比，所提出的 HFF 模块在不同语义尺度上如何增强特征融合效果？
• RQ3 HiFuse 在具有不同数据规模与模态特性的多样化医学影像数据集上，其泛化能力如何？
• RQ4 在减少网络深度与保持线性复杂度的前提下，该模型是否仍能在小样本医学图像数据集上保持高性能？

主要发现

• 在 ISIC2018 数据集上，HiFuse 相比基线模型准确率提升 7.6%，显著改善了皮肤病变分类性能。
• 在 Covid-19 数据集上，HiFuse 相比基线模型准确率提升 21.5%，表明其在小样本、噪声较大的医学图像集合中表现强劲。
• HiFuse-Small 在 Kvasir 数据集上达到 85.00% 的准确率与 84.96% 的 F1 分数，优于所有对比模型，包括 Conformer 与 Swin-B。
• HiFuse-Base 变体因网络深度增加导致准确率略有下降，表明在较浅配置下即可实现最优性能。
• 该模型保持了与图像尺寸呈线性关系的计算复杂度，实现高效推理而不损失准确率。
• 实验结果证实，同时捕捉深层-浅层与全局-局部特征，能显著提升医学图像分类任务的性能。