[论文解读] A Deep Learning-based Framework for the Detection of Schools of Herring in Echograms

Alireza Rezvanifar, Tunai Porto Marques+7 more|arXiv (Cornell University)|Oct 18, 2019

Advanced Neural Network Applications参考文献 26被引用 12

一句话总结

本文提出一种基于深度学习的框架，用于通过两阶段方法在回波图中自动检测鲱鱼群：首先基于强度和形态特征提取感兴趣区域（ROI），随后使用卷积神经网络分类器（DenseNet201）进行分类。该方法优于传统手工设计特征结合SVM的方法，在0.4 IoU阈值下达到82%的F1分数，实现了对大规模声学数据集的可扩展、一致的海洋监测分析。

ABSTRACT

Tracking the abundance of underwater species is crucial for understanding the effects of climate change on marine ecosystems. Biologists typically monitor underwater sites with echosounders and visualize data as 2D images (echograms); they interpret these data manually or semi-automatically, which is time-consuming and prone to inconsistencies. This paper proposes a deep learning framework for the automatic detection of schools of herring from echograms. Experiments demonstrated that our approach outperforms a traditional machine learning algorithm using hand-crafted features. Our framework could easily be expanded to detect more species of interest to sustainable fisheries.

研究动机与目标

• 自动化检测回波图中的鲱鱼群，减少对耗时的人工解读的依赖。
• 克服传统机器学习方法的局限性，后者依赖手工设计特征且易出现不一致。
• 开发一种可扩展的深度学习框架，适用于通过声呐监测的其他海洋物种。
• 提高长期声学监测中处理的效率和可靠性，以支持气候变化影响研究。

提出的方法

• 该框架使用自定义的ROI提取器，沿时间轴应用中值滤波以减少噪声，随后进行二值化和形态学操作，以分离具有强强度和垂直延伸特征的区域——这是鲱鱼群的典型特征。
• ROI提取器基于高层特征（如强烈的中心强度核心和垂直拉长形状）生成候选边界框，这些特征在鲱鱼群中普遍存在。
• 候选ROI使用预训练的卷积神经网络（CNN）进行分类，包括ResNet50、DenseNet201和InceptionNet，并在回波图数据集上应用迁移学习。
• 分类器采用正负样本1:2的比例进行训练，其中正样本为与真实标注IoU > 0.4的ROI，负样本为IoU < 0.4的ROI。
• 交并比（IoU）作为评估检测性能的主要指标，阈值设定为0.4以确保有意义的检测可靠性。
• 该框架在100张来自AZFP设备的回波图上进行评估，其中70张用于训练/验证，30张用于测试，使用精确率、召回率和F1分数作为指标。

实验结果

研究问题

• RQ1 基于深度学习的ROI提取器是否能优于传统手工设计特征提取方法，在回波图中检测鲱鱼群？
• RQ2 在回波图数据上训练的CNN分类器是否能实现高于使用手工特征的传统SVM的检测性能？
• RQ3 两阶段深度学习框架（ROI提取 + 分类）在多大程度上能减少人工误差和处理时间？
• RQ4 IoU阈值如何影响鲱鱼群检测中精确率与召回率之间的平衡？
• RQ5 该框架能否扩展用于检测其他利用类似声呐数据的海洋物种？

主要发现

• 在0.4 IoU阈值下，ROI提取器的召回率达到0.834，表明大多数真实标注的鲱鱼群均被捕捉为候选ROI。
• 采用DenseNet201的完整框架在0.4 IoU阈值下达到最高的F1分数0.82，优于基线SVM方法（F1分数：0.62）。
• InceptionNet架构实现了0.81的平衡F1分数，略低于DenseNet201，但仍优于基线方法。
• 在较低的IoU阈值0.0下，框架的召回率提升至0.93，受ROI提取器性能限制，证实若不施加严格的IoU约束，分类器可恢复大多数漏检目标。
• 该框架展现出良好的可扩展性潜力，可扩展用于检测其他物种（如浮游动物和鲑鱼）的类似声呐数据。