[论文解读] How to Track and Segment Fish without Human Annotations: A Self-Supervised Deep Learning Approach

Alzayat Saleh, Marcus Sheaves+2 more|arXiv (Cornell University)|Aug 23, 2022

Image Enhancement Techniques被引用 6

一句话总结

本文提出了一种自监督深度学习框架，用于在无任何人工标注的情况下，对水下视频中的鱼类进行无监督跟踪与分割。通过结合光流和背景减除生成伪标签，再经自监督优化与精炼，最终训练分割网络，该方法在公开数据集上实现了高精度，展现出在不同成像条件下具有极低监督需求的鲁棒性。

ABSTRACT

Tracking fish movements and sizes of fish is crucial to understanding their ecology and behaviour. Knowing where fish migrate, how they interact with their environment, and how their size affects their behaviour can help ecologists develop more effective conservation and management strategies to protect fish populations and their habitats. Deep learning is a promising tool to analyze fish ecology from underwater videos. However, training deep neural networks (DNNs) for fish tracking and segmentation requires high-quality labels, which are expensive to obtain. We propose an alternative unsupervised approach that relies on spatial and temporal variations in video data to generate noisy pseudo-ground-truth labels. We train a multitask DNN using these pseudo-labels. Our framework consists of three stages: (1) an optical flow model generates the pseudo labels using spatial and temporal consistency between frames, (2) a self-supervised model refines the pseudo-labels incrementally, and (3) a segmentation network uses the refined labels for training. Consequently, we perform extensive experiments to validate our method on three public underwater video datasets and demonstrate its effectiveness for video annotation and segmentation. We also evaluate its robustness to different imaging conditions and discuss its limitations.

研究动机与目标

• 解决水下视频中鱼类跟踪与分割任务中像素级标注的高成本与高劳动强度问题。
• 开发一种完全无监督的方法，利用视频数据中的时序与空间一致性生成可靠的伪标签。
• 通过自监督精炼提升伪标签质量，从而在无真实标签的情况下有效训练分割网络。
• 在不同成像条件下，于多样化的水下视频数据集上验证该方法的有效性。
• 证明仅使用未标注视频数据即可训练出高精度的分割模型。

提出的方法

• 该方法利用光流与背景减除技术，基于连续帧之间的运动与空间一致性生成初始伪标签。
• 自监督精炼网络通过利用时序一致性和结构一致性，迭代提升伪标签的质量。
• 将精炼后的伪标签用于监督学习方式训练分割网络，训练与推理过程中均无需人工标注数据。
• 该框架在未标注视频序列上端到端进行训练，完全依赖视频内在动态特性引导学习过程。
• 该方法结合视觉变换器（Vision Transformers）与卷积神经网络（Convolutional Neural Networks），以同时建模视频帧中的局部与全局上下文信息。
• 采用标准指标（如平均精度（AP））进行评估，结果在三个公开水下数据集上报告。

实验结果

研究问题

• RQ1 仅通过光流与背景减除生成的伪标签是否足以达到训练高精度鱼类分割模型的质量？
• RQ2 自监督精炼在多大程度上提升了无监督伪标签在水下视频分割任务中的准确性？
• RQ3 该方法在图像质量与环境条件各异的多个水下视频数据集上表现如何？
• RQ4 该模型是否能在无需微调或人工标注的情况下泛化至新数据集？
• RQ5 该方法在处理遮挡、鱼体形状多变及复杂背景时存在哪些局限性？

主要发现

• 在所有三个公开数据集上，所提方法的平均精度（AP）均高于仅使用光流的基线方法（未使用背景减除）。
• 在DeepFish数据集上，模型显著优于基线方法，表现出更高的分割精度，表明其在真实场景下具有强大性能。
• 模型在不同数据集上保持一致的性能表现，表明其对图像质量与环境因素变化具有鲁棒性。
• 训练在数个周期内即快速收敛，且在使用监督学习进行微调时，分割精度未出现下降。
• 该方法对部分遮挡具有较强鲁棒性，即使鱼类被严重遮挡，仍能保持对可见身体部位的掩码预测。
• 局限性包括：当鱼类过于靠近或重叠时，无法准确区分个体实例；在复杂场景中，偶尔会遗漏部分鱼类。