[论文解读] Panoptic Instance Segmentation on Pigs

Johannes Brünger, Maria Gentz+2 more|arXiv (Cornell University)|May 21, 2020

Animal Behavior and Welfare Studies参考文献 49被引用 11

一句话总结

本文提出一种基于深度学习的猪只全景实例分割框架，实现像素级身体轮廓检测，优于边界框和关键点检测方法。在包含1,000张人工标注图像的自定义数据集上，即使存在遮挡和画质差的问题，仍实现了95%的F1分数，从而实现精准的猪只体型与体重估算，助力精准畜牧养殖。

ABSTRACT

The behavioural research of pigs can be greatly simplified if automatic recognition systems are used. Especially systems based on computer vision have the advantage that they allow an evaluation without affecting the normal behaviour of the animals. In recent years, methods based on deep learning have been introduced and have shown pleasingly good results. Especially object and keypoint detectors have been used to detect the individual animals. Despite good results, bounding boxes and sparse keypoints do not trace the contours of the animals, resulting in a lot of information being lost. Therefore this work follows the relatively new definition of a panoptic segmentation and aims at the pixel accurate segmentation of the individual pigs. For this a framework of a neural network for semantic segmentation, different network heads and postprocessing methods is presented. With the resulting instance segmentation masks further information like the size or weight of the animals could be estimated. The method is tested on a specially created data set with 1000 hand-labeled images and achieves detection rates of around 95% (F1 Score) despite disturbances such as occlusions and dirty lenses.

研究动机与目标

• 通过实现像素级分割，解决边界框和关键点检测在猪只行为监测中的局限性。
• 开发一种统一的框架，用于语义分割与实例分割，专为遮挡和低光照等猪只特定挑战而设计。
• 通过精确的分割掩码实现实时猪只体型与体重的精准估算。
• 创建一个公开可访问的高质量数据集，包含1,000张人工标注图像，用于猪只视觉研究中的全景分割。
• 通过减少复杂猪舍环境中误报和漏报，提升自动化猪只监测系统的可靠性。

提出的方法

• 采用深度神经网络架构（ResNet34、Inception-ResNet-v2或其组合）进行猪只身体的语义分割。
• 使用多个网络头生成实例掩码并优化分割边界。
• 应用后处理技术从分割掩码中提取椭圆形轮廓，实现体型与体重估算。
• 采用一种新型全景评估指标（PQ）以评估实例分割与语义分割的综合质量。
• 实施数据增强与基于聚类的过滤方法，以处理重叠猪只及画面边缘的动物。
• 应用合理性检查（如最小像素数量限制）以减少分割输出中的误报与漏报。

实验结果

研究问题

• RQ1 在真实农场环境中，全景实例分割能否在猪只监测中实现高于边界框或关键点检测的准确性？
• RQ2 所提出的框架在遮挡、低光照及镜头污损等常见挑战下表现如何？
• RQ3 与基于边界框的方法相比，像素级精确分割在猪只体型与体重估算方面能提升多少？
• RQ4 在所提出的猪只分割任务中，不同主干网络（ResNet34、Inception-ResNet-v2）的性能表现如何比较？
• RQ5 数据质量与标注一致性对猪只视觉系统中分割模型的泛化能力与评估结果有何影响？

主要发现

• 所提出的全景分割框架在完整测试集上达到95.5%的F1分数，其中白天条件为96.19%，夜间条件为94.87%。
• 该方法在包括遮挡与低可见度场景在内的多种条件下，均保持高精度（95.86%）与高召回率（95.14%）。
• 消融实验表明，ResNet34与Inception-ResNet-v2主干网络之间的性能差异极小，表明对网络架构选择具有鲁棒性。
• 该框架可从分割掩码中可靠估算猪只体围与体积，支持体重与健康监测。
• 尽管存在重叠猪只与画面边缘动物等挑战，模型仍保持一致性能，错误案例主要源于标注模糊性。
• 本研究强调了建立标准化、公开可访问的数据集（含固定标注规则）的必要性，以实现未来研究的公平基准比较。