[论文解读] MMOTU: A Multi-Modality Ovarian Tumor Ultrasound Image Dataset for Unsupervised Cross-Domain Semantic Segmentation

Qi Zhao, Shuchang Lyu+8 more|arXiv (Cornell University)|Jul 14, 2022

Radiomics and Machine Learning in Medical Imaging被引用 11

一句话总结

本文提出MMOTU，一个包含1,469幅2D超声和170幅增强超声（CEUS）图像的多模态卵巢肿瘤超声数据集，每幅图像均带有像素级和全局标注。为解决2D与CEUS图像之间跨域语义分割中的域偏移问题，作者提出DS²Net，一种双方案域选择网络，通过对抗性训练和特征对齐学习域特异和域通用特征，在双向无监督域自适应任务中实现最先进性能，mIoU提升最高达75.75%。

ABSTRACT

Ovarian cancer is one of the most harmful gynecological diseases. Detecting ovarian tumors in early stage with computer-aided techniques can efficiently decrease the mortality rate. With the improvement of medical treatment standard, ultrasound images are widely applied in clinical treatment. However, recent notable methods mainly focus on single-modality ultrasound ovarian tumor segmentation or recognition, which means there still lacks researches on exploring the representation capability of multi-modality ultrasound ovarian tumor images. To solve this problem, we propose a Multi-Modality Ovarian Tumor Ultrasound (MMOTU) image dataset containing 1469 2d ultrasound images and 170 contrast enhanced ultrasonography (CEUS) images with pixel-wise and global-wise annotations. Based on MMOTU, we mainly focus on unsupervised cross-domain semantic segmentation task. To solve the domain shift problem, we propose a feature alignment based architecture named Dual-Scheme Domain-Selected Network (DS2Net). Specifically, we first design source-encoder and target-encoder to extract two-style features of source and target images. Then, we propose Domain-Distinct Selected Module (DDSM) and Domain-Universal Selected Module (DUSM) to extract the distinct and universal features in two styles (source-style or target-style). Finally, we fuse these two kinds of features and feed them into the source-decoder and target-decoder to generate final predictions. Extensive comparison experiments and analysis on MMOTU image dataset show that DS2Net can boost the segmentation performance for bidirectional cross-domain adaptation of 2d ultrasound images and CEUS images. Our proposed dataset and code are all available at https://github.com/cv516Buaa/MMOTU_DS2Net.

研究动机与目标

• 为解决医学人工智能中多模态超声卵巢肿瘤成像缺乏标准化数据集的问题。
• 研究2D超声与CEUS图像之间跨域语义分割的问题，其中域偏移阻碍模型泛化能力。
• 开发一种稳健的无监督域自适应框架，无需目标域标注即可提升分割性能。
• 通过实现成像模态间的双向适应，为未来基于人工智能的卵巢肿瘤诊断提供基础。

提出的方法

• 作者构建了MMOTU数据集，包含1,469幅2D超声和170幅CEUS图像，均带有像素级和全局标注。
• 提出DS²Net，一种双方案域选择网络，采用独立编码器分别提取源域（2D）和目标域（CEUS）的模态特异性特征。
• 域特异选择模块（DDSM）识别并保留各模态独有的特征，而域通用选择模块（DUSM）学习共享的可迁移表征。
• 通过对抗性训练对齐跨域特征，减少域偏移并提升泛化能力。
• 网络采用源域和目标域独立的解码器，融合模态特异与通用特征，生成精确的分割掩码。
• 该框架支持双向适应：在2D图像上进行训练以分割CEUS图像，反之亦然，且无需目标域标注。

实验结果

研究问题

• RQ1 多模态超声数据集能否提升不同成像模态下卵巢肿瘤特征的表征学习能力？
• RQ2 无监督域自适应在将2D超声分割知识迁移至CEUS图像及反向迁移方面效果如何？
• RQ3 在域偏移条件下，域特异与域通用特征学习组件在多大程度上提升分割性能？
• RQ4 超声图像中临床符号的存在是否会降低分割性能，模型能否对这类伪影保持鲁棒性？

主要发现

• DS²Net在OTU_2d → OTU_CEUS跨域分割任务中达到75.75%的平均交并比（mIoU），优于先前的特征对齐方法。
• 在OTU_CEUS → OTU_2d适应任务中，模型达到79.20%的mIoU，表明具备强大的双向泛化能力。
• 去除图像中的符号会轻微降低性能（例如，某设置下mIoU从75.75%降至74.62%），但影响有限，表明对这类伪影具有鲁棒性。
• 消融实验确认，域特异与域通用特征学习均至关重要，移除任一组件均导致性能下降。
• 可视化结果表明，DS²Net学习到有意义且可解释的特征，能良好对齐不同模态下的肿瘤边界。
• 作者发现，对图像进行修补或去除符号并不推荐，因为保留符号的原始数据能更好保留临床相关上下文。