[论文解读] Domain Adaptation-based Augmentation for Weakly Supervised Nuclei Detection

Nicolas Brieu, Armin Meier+5 more|arXiv (Cornell University)|Jul 10, 2019

AI in cancer detection参考文献 17被引用 13

一句话总结

本文提出一种弱监督、基于域自适应的增强方法，用于组织病理学图像中的细胞核检测，利用无配对图像到图像翻译（CycleGAN）将源域（如免疫荧光）的合成带标注图像转换为目标域（如苏木精-伊红，H&E），从而在无需目标域标注的情况下训练检测网络。该方法在未见的H&E数据集上实现了0.85的f1分数，与全监督方法性能相当，证明了在标注稀缺条件下的最先进性能。

ABSTRACT

The detection of nuclei is one of the most fundamental components of computational pathology. Current state-of-the-art methods are based on deep learning, with the prerequisite that extensive labeled datasets are available. The increasing number of patient cohorts to be analyzed, the diversity of tissue stains and indications, as well as the cost of dataset labeling motivates the development of novel methods to reduce labeling effort across domains. We introduce in this work a weakly supervised 'inter-domain' approach that (i) performs stain normalization and unpaired image-to-image translation to transform labeled images on a source domain to synthetic labeled images on an unlabeled target domain and (ii) uses the resulting synthetic labeled images to train a detection network on the target domain. Extensive experiments show the superiority of the proposed approach against the state-of-the-art 'intra-domain' detection based on fully-supervised learning.

研究动机与目标

• 解决在不同组织染色和患者队列中，组织病理学数据集标注成本高、数据稀缺的问题。
• 通过仅使用来自不同源域的标注，实现目标域中细胞核检测，从而降低数字病理学中的标注工作量。
• 通过为每个源图像生成多个多样化合成图像，克服标准两步域自适应方法的局限性，提升检测的鲁棒性。
• 开发一种弱监督方法，利用无配对、无监督的域迁移技术，在无需目标域标注的情况下，实现跨染色模态的知识迁移。

提出的方法

• 在域迁移前，应用域内染色归一化（如DCGMM）对齐源域和目标域图像。
• 使用CycleGAN实现无配对、一对一的图像到图像翻译，从源域带标注图像中合成逼真的目标域图像。
• 为每个源图像生成多个合成图像，构建增强训练集，提升数据多样性与泛化能力。
• 仅使用源域标注，在合成带标注图像的集合上训练细胞核检测网络（如CNN）。
• 引入一种跨域监督策略，将合成源图像与少量真实目标域标注相结合，进一步提升性能。
• 基于视觉质量与检测准确率，从多个迭代中选择表现最佳的CycleGAN模型，避免次优单模型微调。

实验结果

研究问题

• RQ1 通过CycleGAN实现无配对域自适应，能否有效将带标注的源域细胞核检测知识迁移到具有不同染色方案的无标注目标域？
• RQ2 与仅使用单张合成图像相比，为每个源图像生成多个多样化合成图像是否能提升检测性能？
• RQ3 当目标域标注稀缺时，弱监督跨域检测的性能与全监督域内检测相比如何？
• RQ4 当结合合成源图像与有限真实目标图像时，跨域监督是否优于纯跨域与纯域内方法？
• RQ5 基于集成合成数据的性能增益是否在不同组织病理学数据集和染色类型中均具有鲁棒性？

主要发现

• 所提出的跨域方法在未见的NSCLC IF数据集上，仅使用来自HE源域的合成标签，即实现了0.85的f1分数，与使用真实IF标签进行全监督训练的性能相当。
• 在更具挑战性的IF2HE方向，该方法在MoNuSeg和TNBC HE测试集上的f1分数分别为0.85和0.81，与全监督方法（f1 = 0.86和0.84）性能相当。
• 当目标域标注有限（N_HE ≤ 18K）时，弱监督跨域方法优于全监督域内方法，证明了其在标注稀缺场景下的价值。
• 当目标域标注有限时，结合合成与真实目标图像的跨域监督策略，优于纯跨域与纯域内方法，并在使用更多数据时达到域内方法的性能水平。
• 仅使用单一最佳CycleGAN模型生成合成图像，导致检测准确率显著下降，凸显了合成数据中模型集成与多样性的关键作用。
• 通过配对t检验对方法优势进行了统计验证，确认所提方法带来的性能增益在不同数据集上均显著且一致。