[论文解读] FishNet: A Unified Embedding for Salmon Recognition

Bjørn Magnus Mathisen, Kerstin Bach+3 more|arXiv (Cornell University)|Oct 20, 2020

Water Quality Monitoring Technologies被引用 5

一句话总结

FishNet 提出了一种受 FaceNet 启发的孪生深度学习架构，用于实现从头部图像非侵入性、高精度的个体鲑鱼识别。通过统一的嵌入空间，其在 96% 真阳性率和 1% 假阳性率下表现优异，证明了在水产养殖监测中无需物理标记的可行性。

ABSTRACT

Identifying individual salmon can be very beneficial for the aquaculture industry as it enables monitoring and analyzing fish behavior and welfare. For aquaculture researchers identifying individual salmon is imperative to their research. The current methods of individual salmon tagging and tracking rely on physical interaction with the fish. This process is inefficient and can cause physical harm and stress for the salmon. In this paper we propose FishNet, based on a deep learning technique that has been successfully used for identifying humans, to identify salmon.We create a dataset of labeled fish images and then test the performance of the FishNet architecture. Our experiments show that this architecture learns a useful representation based on images of salmon heads. Further, we show that good performance can be achieved with relatively small neural network models: FishNet achieves a false positive rate of 1\% and a true positive rate of 96\%.

研究动机与目标

• 开发一种非侵入性方法以识别个体鲑鱼，从而改善福利并减少因物理标记带来的压力。
• 解决当前水产养殖中人工采样方法的局限性，这些方法由于选择性采样鱼群中的个体而易产生偏差。
• 将已在人脸识别中得到验证的深度度量学习技术，应用于个体鲑鱼识别的挑战中。
• 构建一个稳健、可扩展的系统，实现从鱼苗到收获期的长期个体追踪。

提出的方法

• FishNet 采用基于 FaceNet 的孪生神经网络架构，使用三元组损失函数，学习鲑鱼头部图像的统一嵌入空间。
• 模型在自建的标注鲑鱼头部图像数据集上进行训练，并通过数据增强提升对轻微视觉差异的鲁棒性。
• 评估了三种主干网络架构：Inception-ResNet-v2（FishNet1）、MobileNet-v2（FishNet2）和 VGG-16（FishNet3），每种均用于提取深层特征。
• 网络学习最小化同一尾鱼个体的嵌入距离，同时最大化不同个体之间的嵌入距离。
• 通过 ROC 曲线及 AUC、1% 假阳性率下的真阳性率（TPR）以及类间与类内嵌入距离等指标评估性能。
• 视觉评估显示，类内平均距离约为 0.36，而类间平均距离约为 1.40，表明嵌入空间中存在清晰的分离。

实验结果

研究问题

• RQ1 基于鲑鱼头部图像训练的深度度量学习方法是否能实现无需物理标记的高精度个体识别？
• RQ2 FishNet 在不同神经网络架构下的性能在准确率和计算效率方面有何差异？
• RQ3 在水产养殖实际视觉变化条件下，数据增强在多大程度上提升了模型的泛化能力？
• RQ4 所学嵌入是否能可靠地区分不同光照和图像质量条件下的个体？
• RQ5 该模型对因生长、受伤或疾病引起的个体长期视觉变化是否具有鲁棒性？

主要发现

• 基于 Inception-ResNet-v2 的 FishNet1 表现最佳，AUC 达 0.9977，1% 假阳性率下的真阳性率为 96.4%。
• 基于 MobileNet-v2 的 FishNet2 在计算成本更低的情况下，仍实现 1% FPR 下 96.1% 的 TPR，表现强劲。
• 基于 VGG-16 的 FishNet3 表现较差，1% FPR 下 TPR 仅为 87.0%，表明网络架构选择显著影响准确率。
• 同一尾鲑鱼图像间的平均嵌入距离为 0.36，而不同鲑鱼间的平均距离为 1.40，证实了类间分离的清晰性。
• ROC 曲线显示，FishNet1 和 FishNet2 在所有相似度阈值下均优于 FishNet3，其中 FishNet1 的曲线下方面积最大。
• 视觉评估确认，类内距离约为类间距离的 3.88 倍小，验证了模型的判别能力。