[论文解读] Vision meets algae: A novel way for microalgae recognization and health monitor

Shizheng Zhou, Juntao Jiang+3 more|arXiv (Cornell University)|Nov 14, 2022

Water Quality Monitoring Technologies被引用 10

一句话总结

本文提出了一种用于海洋微藻检测的新型显微镜图像数据集，包含六种物种，包括正常、白化和迁移状态的 Symbiodiniaceae，所有样本均以边界框进行标注。在537张图像上进行训练，430张图像上进行测试，TOOD目标检测模型在mAP(0.5:0.95)上达到0.425的最高分，为海洋生态系统中微藻的自动识别与健康监测建立了强有力的基线。

ABSTRACT

Marine microalgae are widespread in the ocean and play a crucial role in the ecosystem. Automatic identification and location of marine microalgae in microscopy images would help establish marine ecological environment monitoring and water quality evaluation system. We proposed a new dataset for the detection of marine microalgae and a range of detection methods, the dataset including images of different genus of algae and the same genus in different states. We set the number of unbalanced classes in the data set and added images of mixed water samples in the test set to simulate the actual situation in the field. Then we trained, validated and tested the, TOOD, YOLOv5, YOLOv8 and variants of RCNN algorithms on this dataset. The results showed both one-stage and two-stage object detection models can achieve high mean average precision, which proves the ability of computer vision in multi-object detection of microalgae, and provides basic data and models for real-time detection of microalgal cells.

研究动机与目标

• 为显微镜图像中海洋微藻检测缺乏标准化、高质量数据集的问题提供解决方案。
• 通过计算机视觉实现微藻的自动识别与健康监测，减少对耗时的人工识别的依赖。
• 通过基于机器学习的检测方法，支持实时海洋生态监测与水质评估。
• 研究在自然样本中因类别不平衡、小目标检测及多物种共现带来的挑战。
• 为未来海洋微藻检测研究建立基准数据集与基线模型。

提出的方法

• 收集了六种海洋微藻物种的实时显微图像：Bacillariophyta、Chlorella pyrenoidosa、Platymonas、Dunaliella salina、Chrysophyta 和 Symbiodiniaceae。
• 使用Labelme软件对数据集中所有目标进行边界框标注，确保检测任务中精确定位。
• 将数据集划分为训练集（537张图像）和测试集（430张图像），并包含一个混合物种子集以模拟野外条件。
• 在训练过程中应用数据增强技术，包括Min IoU随机裁剪、随机翻转和光学畸变。
• 使用PyTorch中的mmdetection工具箱，对多种最先进目标检测模型（如Faster R-CNN、YOLOv3、TOOD）进行训练与评估。
• 通过mAP(0.50:0.95)和mAP(0.50)评估性能，采用IoU阈值衡量边界框的准确性。

实验结果

研究问题

• RQ1 现有目标检测模型在从显微镜图像中识别多样化海洋微藻物种方面的有效性如何？
• RQ2 模型能否泛化到复杂、多物种共存的样本，以反映真实世界野外条件？
• RQ3 类别不平衡（尤其是Bacillariophyta等稀有物种）对检测性能有何影响？
• RQ4 在多大程度上可利用计算机视觉区分Symbiodiniaceae的生理状态（正常、白化、迁移）？
• RQ5 在显微镜图像中检测微小、高分辨率微藻目标的关键挑战是什么？

主要发现

• TOOD模型在测试集上实现了最高的mAP(0.5:0.95)为0.425，优于其他模型（包括Faster R-CNN和YOLOv3）。
• 使用ResNet101主干网络的Faster R-CNN在mAP(0.5:0.95)上达到0.338，表明在该数据集上表现中等。
• 使用VGG16主干网络的SSD模型在mAP(0.5)上达到最高值0.702，表明在较低IoU阈值下表现强劲。
• FCOS模型表现较差，mAP(0.5:0.95)仅为0.107，表明在此背景下难以有效检测小目标。
• 该数据集包含937张图像，共标注4201个微藻目标，其中包括430张包含混合物种和生理状态的测试图像。
• TOOD在部分案例中失败，归因于mmdetection工具箱中的代码库问题，提示实现方面仍有改进空间。