[论文解读] Semantic-Transferable Weakly-Supervised Endoscopic Lesions Segmentation

Jiahua Dong, Yang Cong+2 more|arXiv (Cornell University)|Aug 21, 2019

Colorectal Cancer Screening and Detection参考文献 43被引用 9

一句话总结

本文提出了一种语义可迁移的弱监督模型，用于内窥镜病变分割，通过利用超像素先验和类别平衡生成伪标签，迭代地将来自弱标注目标数据的难迁移样本纳入训练。该方法动态搜索源（胃镜）和目标（小肠镜）数据集之间的特征中心，并使用对抗性学习减少域偏移，在新构建的内窥镜数据集和基准数据集上实现了最先进性能，mIoU提升最高达6.8%。

ABSTRACT

Weakly-supervised learning under image-level labels supervision has been widely applied to semantic segmentation of medical lesions regions. However, 1) most existing models rely on effective constraints to explore the internal representation of lesions, which only produces inaccurate and coarse lesions regions; 2) they ignore the strong probabilistic dependencies between target lesions dataset (e.g., enteroscopy images) and well-to-annotated source diseases dataset (e.g., gastroscope images). To better utilize these dependencies, we present a new semantic lesions representation transfer model for weakly-supervised endoscopic lesions segmentation, which can exploit useful knowledge from relevant fully-labeled diseases segmentation task to enhance the performance of target weakly-labeled lesions segmentation task. More specifically, a pseudo label generator is proposed to leverage seed information to generate highly-confident pseudo pixel labels by incorporating class balance and super-pixel spatial prior. It can iteratively include more hard-to-transfer samples from weakly-labeled target dataset into training set. Afterwards, dynamically searched feature centroids for same class among different datasets are aligned by accumulating previously-learned features. Meanwhile, adversarial learning is also employed in this paper, to narrow the gap between the lesions among different datasets in output space. Finally, we build a new medical endoscopic dataset with 3659 images collected from more than 1100 volunteers. Extensive experiments on our collected dataset and several benchmark datasets validate the effectiveness of our model.

研究动机与目标

• 为解决由于监督信息有限，导致弱监督医学图像分析中病变分割粗略且不准确的问题。
• 利用标注良好源数据集（如胃镜）与弱标注目标数据集（如小肠镜）之间的强概率依赖关系，以改善分割性能。
• 开发一种方法，逐步从目标数据中挖掘高置信度伪标签，同时保持类别平衡与空间一致性。
• 通过对齐动态更新的特征中心并使用输出空间中的对抗性训练，减少源数据集与目标数据集之间的域偏移。

提出的方法

• 设计了一种伪标签生成器，利用种子区域、类别平衡和超像素空间先验，生成高度置信的像素级标签，以防止类别主导现象。
• 通过迭代伪标签生成，逐步将目标数据集中的难迁移样本纳入训练，提升模型泛化能力。
• 通过累积先前学习的特征和伪标签，对源数据集和目标数据集的每个类别动态搜索特征中心，并实现对齐。
• 在输出空间应用对抗性学习，以最小化源数据集与目标数据集分割预测之间的分布差距。
• 将伪标签生成、特征中心对齐与对抗性训练统一整合于一个框架中，以增强模型的可迁移性。
• 构建了一个包含3,659张图像的新内窥镜数据集，来自1,100多名志愿者，用于评估。

实验结果

研究问题

• RQ1 结合超像素先验和类别平衡的伪标签生成，能否提升弱监督病变分割的质量与覆盖范围？
• RQ2 源数据集与目标数据集的特征中心对齐，在内窥镜病变分割中能否有效减少域偏移？
• RQ3 在输出空间中应用对抗性学习，能否显著提升弱监督模型在不同内窥镜成像模态间的泛化能力？
• RQ4 能否通过从完全标注的源数据集（如胃镜）进行迁移学习，显著提升弱标注目标数据集（如小肠镜）上的性能？
• RQ5 与最先进方法相比，所提模型在mIoU和难迁移类别上的鲁棒性如何？

主要发现

• 所提模型在新构建的内窥镜数据集上达到最先进性能，mIoU达47.2%，优于先前方法。
• 在GTA-to-Cityscapes基准上，与现有最先进方法相比，mIoU最高提升6.8%。
• 在SYNTHIA-to-Cityscapes基准上，mIoU达46.7%，在wall、pole和bike等难迁移类别上表现强劲。
• 消融研究证实，伪标签生成器、特征中心对齐和超像素先验组件均对性能提升有显著贡献。
• 该模型在域偏移下对易迁移类别（如road、sky）和难迁移类别（如traffic sign、motorbike）均表现出鲁棒性。
• 引入对抗性学习与动态特征中心对齐，相比不包含这些组件的基线模型，mIoU提升1.5–2.5%。