[论文解读] A Multi-Branch Hybrid Transformer Networkfor Corneal Endothelial Cell Segmentation

Yinglin Zhang, Risa Higashita+6 more|arXiv (Cornell University)|May 21, 2021

Retinal Imaging and Analysis参考文献 13被引用 10

一句话总结

本文提出了一种用于角膜内皮细胞分割的多分支混合Transformer网络（MBT-Net），通过结合卷积块与Transformer模块，捕捉局部纹理与全局上下文信息，同时引入主体-边缘分支以增强边缘定位与一致性。该方法在两个数据集上实现了最先进性能，相较于基线模型，DICE提升2.7%，F1提升1.4%。

ABSTRACT

Corneal endothelial cell segmentation plays a vital role inquantifying clinical indicators such as cell density, coefficient of variation,and hexagonality. However, the corneal endothelium's uneven reflectionand the subject's tremor and movement cause blurred cell edges in theimage, which is difficult to segment, and need more details and contextinformation to release this problem. Due to the limited receptive field oflocal convolution and continuous downsampling, the existing deep learn-ing segmentation methods cannot make full use of global context andmiss many details. This paper proposes a Multi-Branch hybrid Trans-former Network (MBT-Net) based on the transformer and body-edgebranch. Firstly, We use the convolutional block to focus on local tex-ture feature extraction and establish long-range dependencies over space,channel, and layer by the transformer and residual connection. Besides,We use the body-edge branch to promote local consistency and to provideedge position information. On the self-collected dataset TM-EM3000 andpublic Alisarine dataset, compared with other State-Of-The-Art (SOTA)methods, the proposed method achieves an improvement.

研究动机与目标

• 为解决由于光照不均和运动伪影导致的角膜内皮细胞图像中细胞边缘模糊与不规则的问题。
• 通过在深度学习模型中整合全局上下文感知与局部细节保持能力，提升分割精度。
• 通过专用的主体-边缘分支架构，增强边缘定位能力并促进局部一致性。
• 克服标准U-Net与注意力机制模型在捕捉长距离依赖关系与细粒度细节方面的局限性。
• 在具有挑战性图像质量的真实世界角膜显微图像上实现卓越性能。

提出的方法

• 该模型采用混合残差Transformer特征提取模块，结合卷积块以学习局部纹理，同时利用自注意力机制建模长距离的空间、通道与层间依赖关系。
• 引入多分支架构，分别设置主体与边缘特征分支，使网络能够学习细胞内部与边界的判别性表征。
• 编码器-解码器结构采用选择性替换策略，逐步将Transformer层应用于深层网络，以平衡全局上下文与局部细节保持。
• 主体-边缘分支显式预测边缘图，并通过特征传播强制一致性，从而提升边界定位精度并减少分割噪声。
• 通过二元交叉熵损失与Dice损失进行端到端训练，并利用跳跃连接保留高分辨率特征。
• 通过消融实验对Transformer层的最优位置及主体-边缘分支的贡献进行优化。

实验结果

研究问题

• RQ1 混合Transformer与卷积网络架构是否能提升模糊边缘角膜内皮细胞的分割精度？
• RQ2 专用主体-边缘分支的集成如何影响分割中的边缘定位与局部一致性？
• RQ3 在编码器-解码器网络中，Transformer层的最优位置是什么？
• RQ4 将全局上下文建模与局部细节保持相结合，是否能优于标准U-Net或注意力机制模型？
• RQ5 所提方法在光照不均与图像伪影较多的真实世界数据集上的表现如何？

主要发现

• 在TM-EM3000数据集上，所提MBT-Net的DICE得分为0.747，F1得分为0.747，相较于无Transformer或主体-边缘分支的基线模型，分别提升2.7%与1.4%。
• 在Alisarine数据集上，模型的DICE得分为0.786，F1得分为0.821，优于所有对比的最先进方法。
• 消融实验表明，将最深层的编码器与解码器层替换为Transformer（2-2-TR）在局部细节与全局上下文之间实现了最佳平衡，优于完全替换（4-4-TR）。
• 仅使用主体-边缘分支相比基线模型，DICE提升1.1%，F1提升0.4%，表明其在增强边缘检测方面的有效性。
• Transformer与主体-边缘分支的结合带来了最显著的性能提升，尤其在边缘模糊或不清晰的区域，定性结果已验证此优势。
• 该模型在具有挑战性的区域表现出鲁棒性——如光照不均与模糊边缘区域，而基线模型在这些区域难以维持连续且准确的分割。