[论文解读] Enhancing Nucleus Segmentation with HARU-Net: A Hybrid Attention Based Residual U-Blocks Network

Junzhou Chen, Qian Huang+3 more|arXiv (Cornell University)|Aug 7, 2023

AI in cancer detection被引用 5

一句话总结

该论文提出HARU-Net，一种双分支、基于混合注意力的残差U型块网络，可同时预测细胞核语义分割图与轮廓图，从而提升组织病理学图像中的实例分割性能。通过一种新颖的后处理策略融合语义与轮廓特征，并引入上下文融合模块，HARU-Net在BNS、MoNuSeg、CoNSeg和CPM-17数据集上均达到当前最优性能，Dice和PQ分数相较先前方法有显著提升。

ABSTRACT

Nucleus image segmentation is a crucial step in the analysis, pathological diagnosis, and classification, which heavily relies on the quality of nucleus segmentation. However, the complexity of issues such as variations in nucleus size, blurred nucleus contours, uneven staining, cell clustering, and overlapping cells poses significant challenges. Current methods for nucleus segmentation primarily rely on nuclear morphology or contour-based approaches. Nuclear morphology-based methods exhibit limited generalization ability and struggle to effectively predict irregular-shaped nuclei, while contour-based extraction methods face challenges in accurately segmenting overlapping nuclei. To address the aforementioned issues, we propose a dual-branch network using hybrid attention based residual U-blocks for nucleus instance segmentation. The network simultaneously predicts target information and target contours. Additionally, we introduce a post-processing method that combines the target information and target contours to distinguish overlapping nuclei and generate an instance segmentation image. Within the network, we propose a context fusion block (CF-block) that effectively extracts and merges contextual information from the network. Extensive quantitative evaluations are conducted to assess the performance of our method. Experimental results demonstrate the superior performance of the proposed method compared to state-of-the-art approaches on the BNS, MoNuSeg, CoNSeg, and CPM-17 datasets.

研究动机与目标

• 为解决H&E染色切片中细胞核分割面临的重叠细胞、模糊轮廓和染色变异等挑战。
• 通过采用双分支网络架构联合预测细胞核语义与轮廓，提升实例分割精度。
• 通过引入整合多尺度上下文信息的上下文融合模块，增强特征表示能力。
• 开发一种后处理方法，利用语义与轮廓预测结果联合分离重叠细胞核。
• 在多个基准数据集上，证明其在细胞核实例分割任务中优于当前最先进方法。

提出的方法

• HARU-Net采用双分支编码器-解码器结构，结合残差U型块，以捕获层次化特征并改善梯度流动。
• 在多个层级应用结合通道注意力与空间注意力的混合注意力机制，以突出相关特征并抑制噪声。
• 引入上下文编码层，以增强网络中的长距离上下文表征能力。
• 设计了上下文融合（CF）模块，通过加权融合不同尺度的特征，替代简单的拼接操作，实现更优的特征整合。
• 网络并行输出两个结果：前景掩码（语义分割）与细胞核轮廓图（边缘预测）。
• 后处理策略通过从细胞核中心向外传播的方式，融合预测的语义与轮廓图，有效分离重叠细胞核。

实验结果

研究问题

• RQ1 与单任务模型相比，同时预测语义与轮廓特征的双分支网络是否能提升细胞核实例分割的准确性？
• RQ2 混合注意力机制的引入在细胞核分割任务中如何增强特征表征能力？
• RQ3 上下文融合模块在复杂组织病理学图像中对特征学习与分割性能的提升程度如何？
• RQ4 所提出的后处理方法在结合语义与轮廓信息后，对分离重叠细胞核的效率如何？
• RQ5 辅助轮廓预测任务是否通过特征蒸馏有效提升了主语义分割任务的性能？

主要发现

• HARU-Net在四个公开数据集（BNS、MoNuSeg、CoNSeg、CPM-17）上均达到当前最优性能，Dice与PQ分数显著优于先前方法。
• 消融实验表明，与简单拼接相比，上下文融合模块使Dice、PQ与F1分数分别提升0.7%、0.6%与0.9%。
• 结合语义与轮廓预测的后处理方法使PQ分数提升5.8%，凸显其在实例级别精度中的关键作用。
• 在所有层级（除最深层外）引入混合注意力机制，使Dice与PQ分数均提升0.6%。
• 辅助轮廓任务有效提升了主语义分割任务性能，表明双分支间存在有效的知识迁移。
• 在CoNSep数据集中，由于细胞核边界更模糊，后处理中应用腐蚀操作可进一步提升精度，凸显数据集特定适配的必要性。