[论文解读] A Mask R-CNN approach to counting bacterial colony forming units in pharmaceutical development

Tanguy Naets, Maarten Huijsmans+3 more|arXiv (Cornell University)|Mar 9, 2021

Cell Image Analysis Techniques被引用 10

一句话总结

本文提出一种基于Mask R-CNN的实例分割模型，用于在药物研发过程中自动计数BV G-和BV G+细菌菌落形成单位（CFUs）。该模型在101张GSK标注的培养皿图像上进行训练，mAP达到94%（IoU阈值为50%），显著减少了人工计数错误，并可集成至基于Web的SPA中，供实验室技术人员验证和修正结果，支持稀释倍数计算。

ABSTRACT

We present an application of the well-known Mask R-CNN approach to the counting of different types of bacterial colony forming units that were cultured in Petri dishes. Our model was made available to lab technicians in a modern SPA (Single-Page Application). Users can upload images of dishes, after which the Mask R-CNN model that was trained and tuned specifically for this task detects the number of BVG- and BVG+ colonies and displays these in an interactive interface for the user to verify. Users can then check the model's predictions, correct them if deemed necessary, and finally validate them. Our adapted Mask R-CNN model achieves a mean average precision (mAP) of 94\\% at an intersection-over-union (IoU) threshold of 50\\%. With these encouraging results, we see opportunities to bring the benefits of improved accuracy and time saved to related problems, such as generalising to other bacteria types and viral foci counting.

研究动机与目标

• 自动化疫苗研发过程中在培养皿中手动计数细菌CFUs的耗时且易出错的任务。
• 解决传统计算机视觉方法在处理重叠菌落和像素类别不平衡方面的局限性。
• 开发一个稳健、可投入生产的深度学习系统，并集成至用户友好的Web应用程序中，供实验室技术人员使用。
• 通过整合稀释倍数，实现基于三重稀释实验的细菌数量准确估算及置信区间计算。
• 提供可扩展的解决方案，可轻松扩展至其他细菌种类及病毒灶计数。

提出的方法

• 对Matterport实现的Mask R-CNN进行微调，用于在培养皿图像中对BV G-和BV G+ CFUs进行实例分割。
• 在101张由GSK标注的图像上训练模型，数据集按65%训练、15%验证和20%测试划分。
• 应用数据增强技术（包括旋转）以在有限训练数据下提升模型泛化能力。
• 使用Vue.js和Vuetify开发单页应用（SPA），支持用户上传图像、查看模型预测结果，并手动修正CFU计数。
• 集成稀释倍数输入，从三重稀释实验中计算总细菌计数及置信区间。
• 支持对预测结果的交互式编辑，包括验证、删除和手动创建CFUs，并持久化存储更改。

实验结果

研究问题

• RQ1 基于Mask R-CNN的实例分割模型能否在药物成像中实现对重叠和类别不平衡细菌CFUs的高精度计数？
• RQ2 与人类观察者之间的计数差异相比，模型的性能如何？
• RQ3 基于Web的SPA在实验室CFU定量工作流程中能在多大程度上提升效率和准确性？
• RQ4 该模型在仅需少量微调的情况下，能否泛化至其他细菌种类或病毒灶计数？
• RQ5 在训练数据有限的情况下，数据增强技术在提升模型鲁棒性方面的有效性如何？

主要发现

• Mask R-CNN模型在IoU阈值为50%时达到94%的平均平均精度（mAP），表明其在检测与分割方面表现优异。
• 用户与模型之间的CFU计数差异显著低于用户之间的差异，BV G+的平均绝对百分比误差（MAPE）为33%，BV G-为45%，而用户间差异分别为43%和68%。
• 该模型有效缓解了类别不平衡和菌落重叠问题，因其不依赖于背景或边界像素的分类。
• 基于Web的SPA实现了实时交互，支持用户验证、修正和导出结果，并通过集成稀释倍数实现准确的细菌负荷估算。
• 数据增强（尤其是旋转）显著提升了模型在有限训练数据和多样化成像条件下的泛化能力。
• 通过在应用中提供用户友好的数据标注功能，系统展现出向其他细菌种类及病毒灶计数扩展的潜力，支持未来模型的再训练。