[论文解读] Affinity LCFCN: Learning to Segment Fish with Weak Supervision

Issam Laradji, Alzayat Saleh+4 more|arXiv (Cornell University)|Nov 6, 2020

Water Quality Monitoring Technologies参考文献 49被引用 10

一句话总结

本文提出 A-LCFCN，一种用于鱼类的弱监督实例分割方法，仅使用点级标注（每条鱼仅需 1 秒）替代耗时的像素级标注。通过将可学习亲和力模块与全卷积网络结合，并利用随机游走算法优化预测结果，A-LCFCN 在仅使用点级标注的情况下实现了与全监督模型相当的分割性能，同时将标注成本降低了 90% 以上。

ABSTRACT

Aquaculture industries rely on the availability of accurate fish body measurements, e.g., length, width and mass. Manual methods that rely on physical tools like rulers are time and labour intensive. Leading automatic approaches rely on fully-supervised segmentation models to acquire these measurements but these require collecting per-pixel labels -- also time consuming and laborious: i.e., it can take up to two minutes per fish to generate accurate segmentation labels, almost always requiring at least some manual intervention. We propose an automatic segmentation model efficiently trained on images labeled with only point-level supervision, where each fish is annotated with a single click. This labeling process requires significantly less manual intervention, averaging roughly one second per fish. Our approach uses a fully convolutional neural network with one branch that outputs per-pixel scores and another that outputs an affinity matrix. We aggregate these two outputs using a random walk to obtain the final, refined per-pixel segmentation output. We train the entire model end-to-end with an LCFCN loss, resulting in our A-LCFCN method. We validate our model on the DeepFish dataset, which contains many fish habitats from the north-eastern Australian region. Our experimental results confirm that A-LCFCN outperforms a fully-supervised segmentation model at fixed annotation budget. Moreover, we show that A-LCFCN achieves better segmentation results than LCFCN and a standard baseline. We have released the code at \url{https://github.com/IssamLaradji/affinity_lcfcn}.

研究动机与目标

• 通过利用弱监督降低鱼类监测中像素级分割的高标注成本。
• 解决现有点级方法存在的边界不准确或产生大块区域的问题。
• 通过引入可学习亲和力模块，提升对复杂、细长形状鱼类的分割精度。
• 证明结合伪标签技术后，仅使用点级监督即可实现接近全监督的性能。
• 通过最小化人工标注，实现可扩展、高效的鱼类栖息地监测，助力可持续渔业发展。

提出的方法

• 使用共享的 ImageNet 预训练 VGG16 主干网络，训练全卷积网络以提取特征。
• 采用双分支结构：一个分支预测像素级类别得分，另一个分支预测可学习的像素间亲和力矩阵。
• 通过随机游走算法将亲和力矩阵与像素得分相结合，基于局部语义相似性优化分割掩码。
• 端到端训练模型，使用 LCFCN 损失函数，以鼓励准确的定位和边界对齐。
• 应用伪掩码（PM）精炼步骤，利用 A-LCFCN 生成的掩码对全监督模型进行微调。
• 使用连通组件分析从最终分割输出中提取鱼类实例，用于计数和定位任务。

实验结果

研究问题

• RQ1 点级监督是否能在鱼类实例分割中实现与全监督方法相当的分割性能？
• RQ2 与现有弱监督方法相比，集成可学习亲和力模块是否能提升边界定位精度？
• RQ3 当在包含更多样化鱼类栖息地的大规模数据集上训练时，该模型表现如何？
• RQ4 A-LCFCN 生成的伪标签是否能有效提升全监督分割模型的性能？
• RQ5 该方法在保持高分割精度的同时，能在多大程度上降低标注成本？

主要发现

• 在固定标注预算约 1500 秒的条件下，A-LCFCN 的 mIoU 高于全监督的 FS-FCN，尽管仅使用点级标签。
• 在 FishLoc 数据集上，A-LCFCN 的平均 IoU 达到 0.785，显著优于 LCFCN（0.682）和 PL-FCN（0.641），分割质量更优。
• A-LCFCN+PM 变体在 FishLoc 上将 mIoU 提升至 0.812，在 FishSeg 上达到 0.768，表明伪标签可进一步提升性能。
• 定性结果表明，A-LCFCN 生成的分割结果更具边界感知性，优于 LCFCN 和 PL-FCN，能有效避免中心区域的大块区域。
• 尽管分割性能提升，A-LCFCN、A-LCFCN+PM 和 LCFCN 在计数和定位任务上的表现相近（MAE ≈ 0.03–0.097），表明实例检测具有鲁棒性。
• 模型在大规模数据集上泛化能力更强：A-LCFCN 随训练数据增加而持续提升性能，而 LCFCN 的性能趋于平台期甚至下降，归因于边界学习能力差。