[论文解读] M2MRF: Many-to-Many Reassembly of Features for Tiny Lesion Segmentation in Fundus Images

Qing Liu, Haotian Liu+2 more|arXiv (Cornell University)|Oct 30, 2021

Retinal Imaging and Analysis参考文献 45被引用 7

一句话总结

本文提出M2MRF，一种多对多特征重组装框架，通过同时将大区域内的多个特征聚合到多个目标特征中，捕捉长距离空间依赖关系，从而提升眼底图像中微小病灶的分割性能。该方法在DDR和IDRiD基准上显著优于基于CNN和近期基于Transformer的方法，尤其在检测小而聚集的病灶方面表现突出。

ABSTRACT

Feature reassembly is an essential component in modern CNN-based segmentation approaches, which includes feature downsampling and upsampling operators. Existing operators reassemble multiple features from a small predefined region into one for each target location independently. This may result in loss of spatial information, which could vanish activations caused by tiny lesions particularly when they cluster together. In this paper, we propose a many-to-many reassembly of features (M2MRF). It reassembles features in a dimension-reduced feature space and simultaneously aggregates multiple features inside a large predefined region into multiple target features. In this way, long range spatial dependencies are captured to maintain activations on tiny lesions. Experimental results on two lesion segmentation benchmarks, i.e. DDR and IDRiD, show that (1) our M2MRF outperforms existing feature reassembly operators; (2) equipped with our M2MRF, the HRNetv2 is able to achieve significant better performance to CNN-based segmentation methods and competitive even better performance to two recent transformer-based segmentation methods. Our code is made publicly available at https://github.com/CVIU-CSU/M2MRF-Lesion-Segmentation.

研究动机与目标

• 解决现有特征重组装算子因空间上下文有限，难以分割眼底图像中微小、聚集性病灶的挑战。
• 克服CNN中传统多对一特征下采样与上采样导致微小病灶激活信号消失的问题。
• 将特征下采样与上采样统一到一个框架中，以捕捉长距离空间依赖关系。
• 在不显著增加模型复杂度的前提下，提升病灶分割基准上的性能。

提出的方法

• 在降维空间中通过同时将大预定义区域内的多个特征聚合到多个目标特征，实现特征重组装。
• 使用重要性加权核动态分配大局部区域内特征的相关性得分，增强微弱激活信号。
• 该方法在下采样和上采样阶段均适用，支持可配置变体（如单步或级联），具备灵活性。
• 用多对多重组装机制替代标准的多对一重组装算子，保留长距离依赖关系中的空间上下文。
• 该框架即插即用，可与HRNetV2等现有CNN架构兼容，参数开销极小。
• 支持端到端训练，可无缝集成到任何需要特征重组装的分割流程中。

实验结果

研究问题

• RQ1 与传统的多对一算子相比，多对多特征重组装机制是否能提升眼底图像中微小、聚集性病灶的检测性能？
• RQ2 通过大区域聚合捕捉长距离空间依赖关系，是否有助于在下采样与上采样过程中保留微小、微弱病灶的激活信号？
• RQ3 M2MRF是否能在不增加模型复杂度的前提下提升病灶分割基准的性能？
• RQ4 M2MRF与当前最先进的基于CNN和基于Transformer的分割模型相比，在微小病灶分割任务中的表现如何？

主要发现

• M2MRF-C（级联下采样，单步上采样）在IDRiD数据集上表现最佳，mIoU达49.94%，mF为65.71%，mAUPR为67.24%。
• M2MRF-C在mIoU上比最新基于Transformer的Swin-base方法高出1.58%，在mF上高出1.67%，在mAUPR上高出2.33%。
• 配备M2MRF的HRNetV2在IDRiD数据集上AUPR提升超过4%，F-score提升超过5%，IoU提升超过4%，优于原始HRNetV2。
• 该方法在所有病灶类型上均一致提升性能，尤其在微动脉瘤和小渗出灶方面表现显著。
• 基于规则的RF算子（如MaxPool/双线性插值）优于学习型算子，表明小感受野下学习存在局限性。
• 定性结果表明，M2MRF变体能正确分割其他方法误判或遗漏的挑战性病灶。