[论文解读] Counting Fish and Dolphins in Sonar Images Using Deep Learning

Stefan Schneider, Alex Zhuang|arXiv (Cornell University)|Jul 24, 2020

Marine animal studies overview参考文献 27被引用 13

一句话总结

本文提出一种深度学习方法，通过数据增强技术克服训练数据有限的问题，实现对亚马孙河声呐图像中鱼类和海豚的计数。通过将20张真实图像模拟生成最多25,000张合成图像，该方法在DenseNet201和Xception模型下，鱼类和海豚的平均误差分别达到2.11和0.133，展示了在生态学挑战性环境中实现有效实时种群数量估算的潜力。

ABSTRACT

Deep learning provides the opportunity to improve upon conflicting reports considering the relationship between the Amazon river's fish and dolphin abundance and reduced canopy cover as a result of deforestation. Current methods of fish and dolphin abundance estimates are performed by on-site sampling using visual and capture/release strategies. We propose a novel approach to calculating fish abundance using deep learning for fish and dolphin estimates from sonar images taken from the back of a trolling boat. We consider a data set of 143 images ranging from 0-34 fish, and 0-3 dolphins provided by the Fund Amazonia research group. To overcome the data limitation, we test the capabilities of data augmentation on an unconventional 15/85 training/testing split. Using 20 training images, we simulate a gradient of data up to 25,000 images using augmented backgrounds and randomly placed/rotation cropped fish and dolphin taken from the training set. We then train four multitask network architectures: DenseNet201, InceptionNetV2, Xception, and MobileNetV2 to predict fish and dolphin numbers using two function approximation methods: regression and classification. For regression, Densenet201 performed best for fish and Xception best for dolphin with mean squared errors of 2.11 and 0.133 respectively. For classification, InceptionResNetV2 performed best for fish and MobileNetV2 best for dolphins with a mean error of 2.07 and 0.245 respectively. Considering the 123 testing images, our results show the success of data simulation for limited sonar data sets. We find DenseNet201 is able to identify dolphins after approximately 5000 training images, while fish required the full 25,000. Our method can be used to lower costs and expedite the data analysis of fish and dolphin abundance to real-time along the Amazon river and river systems worldwide.

研究动机与目标

• 解决亚马孙河鱼类和海豚种群数量估算中声呐图像数据有限的挑战。
• 开发一种基于深度学习的方法，实现在拖曳船拍摄的声呐图像中对鱼类和海豚进行实时、自动计数。
• 评估数据增强在克服生态计算机视觉任务中小样本数据集限制方面的有效性。
• 比较回归与分类方法在多种深度学习架构下进行种群数量预测的性能。
• 通过支持更快捷、更经济且更具可扩展性的监测手段，助力保护工作，特别是对亚马孙河海豚等濒危物种的监测。

提出的方法

• 作者使用自定义的数据增强管道，通过在20张原始训练图像上应用随机旋转、平移和背景替换，生成合成声呐图像。
• 增强过程模拟了从20张到25,000张合成图像的数据梯度，尽管真实数据集较小，但仍显著提升了模型的泛化能力。
• 训练了四种深度学习架构——DenseNet201、InceptionResNetV2、Xception和MobileNetV2——用于回归和分类任务，以预测鱼类和海豚的数量。
• 回归方法用于预测连续的种群数量值，而分类方法则将数量视为离散类别，两种方法均在15/85的训练/测试集划分下进行评估。
• 模型性能在123张保留的测试图像上进行评估，主要使用均方误差和平均绝对误差作为评价指标。
• 本研究利用StarFish海底成像系统在亚马孙河采集真实声呐数据，提供了具有现实生态意义的数据集。

实验结果

研究问题

• RQ1 深度学习模型能否在亚马孙河有限的声呐图像数据下实现鱼类和海豚种群数量的准确估算？
• RQ2 当训练数据稀缺时，数据增强在提升模型性能方面的有效性如何？
• RQ3 在声呐图像中进行鱼类和海豚计数时，DenseNet201、InceptionResNetV2、Xception和MobileNetV2中哪种深度学习架构表现最佳？
• RQ4 在此背景下，回归方法与分类方法哪种在种群数量预测中更有效？
• RQ5 模型在鱼类和海豚计数任务中达到可靠性能所需多少合成数据？

主要发现

• 使用回归方法时，DenseNet201在鱼类计数中实现了最低的平均误差2.11，优于其他模型。
• 使用回归方法时，Xception在海豚计数中表现最佳，平均误差为0.133。
• 在分类任务中，InceptionResNetV2在鱼类计数中实现了最低的平均误差2.07，而MobileNetV2在海豚计数中实现了0.245的平均误差。
• 由于海豚轮廓具有更清晰的像素表示，其学习难度低于鱼类，因此实现高精度所需合成数据更少。
• DenseNet201在海豚计数中的性能在约5,000张合成图像后显著提升，而鱼类则需全部25,000张合成图像才能达到最佳效果。
• 本研究证明，智能数据模拟可使深度学习模型在小规模生态数据集上有效泛化，从而实现在河流系统中的实时种群数量估算。