[论文解读] Detection of Parasitic Eggs from Microscopy Images and the emergence of a new dataset

Perla Mayo, Nantheera Anantrasirichai+3 more|arXiv (Cornell University)|Mar 6, 2022

Digital Imaging for Blood Diseases被引用 8

一句话总结

本文提出了一种两阶段深度学习框架，用于在低质量显微镜图像中检测寄生虫卵，首先使用Pix2Pix GAN进行图像增强，随后使用Faster R-CNN进行目标检测。通过在GAN增强图像上训练检测器，该方法显著提升了检测性能，特别是在召回率和F1分数方面，并引入了一个新的公开数据集，以支持该领域未来的科研工作。

ABSTRACT

Automatic detection of parasitic eggs in microscopy images has the potential to increase the efficiency of human experts whilst also providing an objective assessment. The time saved by such a process would both help ensure a prompt treatment to patients, and off-load excessive work from experts' shoulders. Advances in deep learning inspired us to exploit successful architectures for detection, adapting them to tackle a different domain. We propose a framework that exploits two such state-of-the-art models. Specifically, we demonstrate results produced by both a Generative Adversarial Network (GAN) and Faster-RCNN, for image enhancement and object detection respectively, on microscopy images of varying quality. The use of these techniques yields encouraging results, though further improvements are still needed for certain egg types whose detection still proves challenging. As a result, a new dataset has been created and made publicly available, providing an even wider range of classes and variability.

研究动机与目标

• 开发一种自动化且鲁棒的方法，用于在显微镜图像中检测寄生虫卵，尤其适用于资源有限环境中常见的次优图像质量条件。
• 解决由于低成本设备、光照变化、运动模糊和色彩偏移导致的图像质量波动问题。
• 通过在目标检测之前引入基于GAN的图像增强步骤，提升检测性能。
• 创建并发布一个全新的、多样化的寄生虫卵数据集，以支持未来在自动化检测方面的研究。
• 评估检测模型在因图像退化引起的分布偏移下的泛化能力。

提出的方法

• 采用两阶段框架：首先，训练一个Pix2Pix GAN，将低质量显微镜图像增强为高质量表示。
• 随后，使用增强后的图像训练Faster R-CNN目标检测模型，以识别和定位图像中的寄生虫卵。
• 通过5折交叉验证评估框架，以确保在多样化图像条件下的鲁棒性和泛化能力。
• 在测试过程中通过颜色抖动、亮度/对比度变化、旋转和翻转等增强技术模拟图像退化，以评估鲁棒性。
• 在原始图像、退化图像和增强图像上分别测试模型，以比较不同输入条件下的性能表现。
• 训练和评估流程设计用于隔离图像增强对检测性能的影响，并对不同增强策略进行消融研究。

实验结果

研究问题

• RQ1 基于GAN的图像增强步骤是否能提升在低质量显微镜图像中寄生虫卵检测的性能？
• RQ2 当在测试中使用训练期间未见过的退化图像（如运动模糊或光照变化）时，检测模型表现如何？
• RQ3 在GAN增强图像上训练Faster R-CNN检测器是否比在真实低质量图像上训练具有更好的泛化能力？
• RQ4 不同图像增强技术（Pix2Pix与CycleGAN）对最终检测准确率有何影响？
• RQ5 一种将图像增强与检测整合在共享特征空间中的统一框架，是否能优于当前的两阶段方法？

主要发现

• 在Pix2Pix GAN增强图像上训练的Faster R-CNN检测器在所有评估设置中均达到最高的精确率和召回率，优于在原始图像或CycleGAN增强图像上训练的模型。
• 使用Pix2Pix进行增强显著减少了误报，并提高了检测灵敏度，尤其对具有挑战性的卵类型效果明显。
• 在GAN增强图像上训练检测器后，其在退化测试图像上的泛化能力优于在真实低质量图像上训练的模型。
• 在不重新训练检测器的情况下，将图像增强与检测结合的框架在所有指标上均表现出最一致的性能提升。
• 基于CycleGAN的增强导致召回率较低，表明其可能引入伪影或非代表性特征，从而阻碍检测。
• 当在检测前应用增强步骤时，所提出的框架对多种图像退化（包括颜色抖动、亮度偏移和模糊）表现出鲁棒性。