[论文解读] CFPNet-M: A Light-Weight Encoder-Decoder Based Network for Multimodal Biomedical Image Real-Time Segmentation

Ange Lou, Shuyue Guan+1 more|arXiv (Cornell University)|May 10, 2021

AI in cancer detection参考文献 52被引用 16

一句话总结

CFPNet-M 是一种轻量级、编码器-解码器神经网络，用于多模态生物医学图像的实时分割，通过引入空洞通道卷积模块和架构简化，将参数量减少至 0.65M（仅为 U-Net 的 2%），同时保持高精度。在单张 RTX 2070Ti GPU 上，使用 256×192 输入时，推理速度达到 80 FPS，在五个不同医学影像数据集上的表现优于更大的模型，评估指标为 Tanimoto 相似度。

ABSTRACT

Currently, developments of deep learning techniques are providing instrumental to identify, classify, and quantify patterns in medical images. Segmentation is one of the important applications in medical image analysis. In this regard, U-Net is the predominant approach to medical image segmentation tasks. However, we found that those U-Net based models have limitations in several aspects, for example, millions of parameters in the U-Net consuming considerable computation resource and memory, lack of global information, and missing some tough objects. Therefore, we applied two modifications to improve the U-Net model: 1) designed and added the dilated channel-wise CNN module, 2) simplified the U shape network. Based on these two modifications, we proposed a novel light-weight architecture -- Channel-wise Feature Pyramid Network for Medicine (CFPNet-M). To evaluate our method, we selected five datasets with different modalities: thermography, electron microscopy, endoscopy, dermoscopy, and digital retinal images. And we compared its performance with several models having different parameter scales. This paper also involves our previous studies of DC-UNet and some commonly used light-weight neural networks. We applied the Tanimoto similarity instead of the Jaccard index for gray-level image measurements. By comparison, CFPNet-M achieves comparable segmentation results on all five medical datasets with only 0.65 million parameters, which is about 2% of U-Net, and 8.8 MB memory. Meanwhile, the inference speed can reach 80 FPS on a single RTX 2070Ti GPU with the 256 by 192 pixels input size.

研究动机与目标

• 解决基于 U-Net 的模型在生物医学图像分割中计算量和内存需求过高的问题。
• 提升在具有挑战性的目标上的分割性能，并增强全局特征表示能力。
• 开发一种适用于资源受限设备上实时推理的轻量级架构。
• 在包括热成像、内窥镜和眼底成像在内的多种医学影像模态上评估性能。
• 证明在使用 Tanimoto 相似度作为主要指标的情况下，极低的参数量也能实现具有竞争力的分割精度。

提出的方法

• 提出一种空洞通道卷积模块，以更少的参数捕获多尺度通道特异性特征。
• 通过移除冗余层和连接，简化 U-Net 的编码器-解码器结构，降低模型复杂度。
• 将空洞通道卷积模块集成到编码器路径中，以增强特征表示，同时不增加计算负载。
• 采用对称的跳跃连接设计，以保持空间分辨率并促进梯度流动。
• 使用二元交叉熵损失结合 Dice 系数优化进行端到端训练。
• 将 Tanimoto 相似度（F1-score）作为灰度医学图像的主要评估指标。

实验结果

研究问题

• RQ1 在多模态生物医学图像中，显著减少的参数量是否仍能维持具有竞争力的分割精度？
• RQ2 空洞通道卷积模块的引入是否能改善小尺寸或难以检测结构的特征表示与分割性能？
• RQ3 简化后的编码器-解码器架构是否能在不损失性能的前提下实现实时推理？
• RQ4 CFPNet-M 与 U-Net 等大型模型以及 MobileNet 等轻量级网络相比，在精度和速度方面表现如何？
• RQ5 在灰度医学图像中，使用 Tanimoto 相似度是否比 Jaccard 指数提供更可靠、更准确的分割评估？

主要发现

• CFPNet-M 在五个多样化的生物医学数据集（包括热成像、内窥镜、皮肤镜、电子显微镜和眼底成像）上实现了与更大模型相当的分割性能。
• 该模型仅包含 0.65 百万个参数，仅为标准 U-Net 参数量的 2%。
• 内存占用仅为 8.8 MB，与标准 U-Net 相比显著降低了内存占用。
• 在单张 RTX 2070Ti GPU 上，使用 256×192 输入分辨率时，推理速度达到 80 FPS。
• 使用 Tanimoto 相似度作为评估指标，为灰度图像的分割性能提供了更稳健、更准确的评估。
• 所提出的架构在参数效率和推理速度方面均优于 DC-UNet 和标准轻量级网络。