[论文解读] Fuzzy Semantic Segmentation of Breast Ultrasound Image with Breast Anatomy Constraints

Kuan Huang, Yingtao Zhang+3 more|arXiv (Cornell University)|Sep 14, 2019

AI in cancer detection参考文献 40被引用 7

一句话总结

本文提出了一种用于乳腺超声（BUS）图像的模糊语义分割框架，通过条件随机场（CRFs）将模糊逻辑与全卷积网络（FCN）及乳腺解剖约束相结合。通过增强图像对比度、应用基于小波的增强技术，并在特征上使用模糊隶属函数，该方法在肿瘤分割上实现了最先进的性能，真阳性率（TPR）为90.33%，假阳性率（FPR）为9.00%，交并比（IoU）为81.29%，同时在无肿瘤或存在多肿瘤的情况下也能准确分割多个组织层。

ABSTRACT

Breast cancer is one of the most serious disease affecting women's health. Due to low cost, portable, no radiation, and high efficiency, breast ultrasound (BUS) imaging is the most popular approach for diagnosing early breast cancer. However, ultrasound images are low resolution and poor quality. Thus, developing accurate detection system is a challenging task. In this paper, we propose a fully automatic segmentation algorithm consisting of two parts: fuzzy fully convolutional network and accurately fine-tuning post-processing based on breast anatomy constraints. In the first part, the image is preprocessed by contrast enhancement, and wavelet features are employed for image augmentation. A fuzzy membership function transforms the augmented BUS images into fuzzy domain. The features from convolutional layers are processed using fuzzy logic as well. The conditional random fields (CRFs) post-process the segmentation result. The location relation among the breast anatomy layers is utilized to improve the performance. The proposed method is applied to the dataset with 325 BUS images, and achieves state-of-art performance compared with that of existing methods with true positive rate 90.33%, false positive rate 9.00%, and intersection over union (IoU) 81.29% on tumor category, and overall intersection over union (mIoU) 80.47% over five categories: fat layer, mammary layer, muscle layer, background, and tumor.

研究动机与目标

• 解决乳腺超声（BUS）成像中因图像质量低、存在噪声和斑点伪影而阻碍精确分割的挑战。
• 通过使用模糊逻辑对原始图像和特征图中的不确定性进行建模，提升BUS图像中语义分割的鲁棒性。
• 通过在后处理阶段引入乳腺组织层（脂肪层、乳腺层、肌肉层、背景、肿瘤）的解剖约束，提升分割精度。
• 开发一种完全自动化的分割方法，使其在小样本数据集上表现良好，并能泛化于不同图像质量和肿瘤配置。
• 实现在复杂病例中的精确分割，包括无肿瘤图像和存在多个肿瘤的图像，而现有方法无法处理此类情况。

提出的方法

• 使用对比度增强和基于小波的特征增强对BUS图像进行预处理，以提升纹理和强度的一致性。
• 通过模糊隶属函数将卷积层的增强图像和特征图转换到模糊域，以建模不确定性。
• 采用模糊全卷积网络（fuzzy FCN）生成初始分割图，利用模糊逻辑实现鲁棒的特征表示。
• 应用带有解剖约束的条件随机场（CRFs）——具体而言，利用乳腺组织层之间的空间关系（如脂肪层与乳腺层相邻）来优化分割结果。
• 使用多类别CRF模型，编码乳腺解剖的先验知识，以指导像素级分类并强化结构合理性。
• 通过联合优化方法对分割输出进行微调，平衡数据保真度与解剖一致性，从而提升IoU并减少假阳性。

实验结果

研究问题

• RQ1 模糊逻辑是否能有效建模低质量BUS图像中的不确定性，并相较于标准深度学习方法提升分割鲁棒性？
• RQ2 将乳腺组织层的解剖约束整合到CRF后处理中，对分割精度和泛化能力有何影响？
• RQ3 所提出的方法是否能在小样本数据集上实现高性能，并在无需大量微调的情况下泛化于多样的图像采集条件？
• RQ4 该方法在具有挑战性的病例（如无肿瘤图像或多肿瘤图像）中的表现如何，而现有全自动方法无法处理此类情况？
• RQ5 与非模糊或无约束基线相比，使用模糊特征和解剖感知CRFs在提升IoU和降低假阳性率方面有多大改善？

主要发现

• 所提方法在肿瘤分割上实现了90.33%的真阳性率（TPR）和9.00%的假阳性率（FPR），优于现有半自动和全自动方法。
• 该方法在肿瘤分割上实现了81.29%的交并比（IoU），在五种类别（脂肪层、乳腺层、肌肉层、背景、肿瘤）上的平均IoU（mIoU）为80.47%。
• 该方法在无肿瘤图像中成功分割出所有组织层，而以往全自动方法错误地将背景标记为肿瘤（产生假阳性）。
• 该方法在多肿瘤病例中表现出色，能正确识别并分割每幅图像中的两个肿瘤，而现有方法仅能检测出一个肿瘤。
• 模糊逻辑与解剖感知CRFs的结合显著提升了鲁棒性与准确性，尤其在低对比度和噪声图像中表现更优。
• 该方法在相对较小的325幅BUS图像数据集上表现出色，表明其具有强大的泛化能力且对数据量依赖较低。