[论文解读] Automatic localization and decoding of honeybee markers using deep convolutional neural networks

Benjamin Wild, Leon Sixt+1 more|arXiv (Cornell University)|Feb 13, 2018

Insect and Arachnid Ecology and Behavior参考文献 27被引用 20

一句话总结

本论文提出了一种基于深度学习的软件流水线，采用两个卷积神经网络，可自动定位并解码蜜蜂身上的自定义二进制标记，检测准确率达到98.3%，解码准确率达到87.8%，相比先前系统实现100倍的速度提升，同时实现了对整个蜂群跨多代的长期、高精度追踪。

ABSTRACT

The honeybee is a fascinating model animal to investigate how collective behavior emerges from (inter-)actions of thousands of individuals. Bees may acquire unique memories throughout their lives. These experiences affect social interactions even over large time frames. Tracking and identifying all bees in the colony over their lifetimes therefore may likely shed light on the interplay of individual differences and colony behavior. This paper proposes a software pipeline based on two deep convolutional neural networks for the localization and decoding of custom binary markers that honeybees carry from their first to the last day in their life. We show that this approach outperforms similar systems proposed in recent literature. By opening this software for the public, we hope that the resulting datasets will help advancing the understanding of honeybee collective intelligence.

研究动机与目标

• 实现对蜂群中个体蜜蜂整个生命周期的长期、自动化追踪。
• 克服传统计算机视觉方法在光照变化和遮挡条件下检测和解码蜜蜂身上自定义二进制标记的局限性。
• 开发一种可扩展、鲁棒且高效的系统，适用于大规模蜜蜂群落行为研究。
• 相比依赖手工设计计算机视觉流水线的先前系统，显著减少人工劳动和计算成本。
• 通过提供高精度、终身个体追踪数据，支持集体智能相关研究。

提出的方法

• 采用两阶段深度学习流水线：定位网络在图像中检测标记的位置和朝向，随后由解码网络提取标记中的二进制ID。
• 定位网络在人工标注的标记图像上进行训练，可在光照变化、遮挡和图像质量差异下实现稳定检测。
• 使用生成对抗网络（RenderGAN）生成逼真的标记图像，用于解码网络训练中的数据增强。
• 解码网络在RenderGAN生成的合成数据上进行训练，使其能泛化到真实世界中的图像变化，而无需大量人工标注。
• 系统设计具备可适应性：仅需新标注的定位数据即可重新训练，后续步骤通过合成数据生成实现自动化。
• 该流水线可在消费级GPU硬件（Geforce GTX 1080 Ti）上实现每秒3帧的实时推理，支持约800只蜜蜂的蜂群追踪。

实验结果

研究问题

• RQ1 在真实世界条件下，深度卷积神经网络是否能优于传统计算机视觉方法，实现对蜜蜂身上自定义二进制标记的检测与解码？
• RQ2 尽管存在光照变化、遮挡和标记退化等问题，该系统如何在长期观测中保持高精度？
• RQ3 通过RenderGAN生成的合成数据，能在多大程度上减少训练标记解码网络时对人工标注的依赖？
• RQ4 与现有基于标记的追踪系统相比，该系统在检测、解码和计算效率方面的表现如何？
• RQ5 该系统能否在极少人工干预下，实现对个体蜜蜂跨多代蜂群的终身追踪？

主要发现

• 系统实现86.3%的联合检测与解码准确率，计算方式为98.3%检测准确率乘以87.8%解码准确率。
• 深度学习流水线相比依赖超级计算机的先前原型系统，处理时间缩短了100倍。
• 由于CNN学习到的不变性，系统在各种图像条件下（如低光照、镜头畸变和图像噪声）均保持高性能。
• 标记耐久性得到提升，即使在机械应力下也能持续数天，支持长期追踪。
• 通过时间追踪后处理与比特概率平均化，探索性实验中联合准确率提升至96%。
• 系统可在消费级硬件上以每秒3帧的速度实现实时处理，支持最多800只蜜蜂的完整蜂群追踪。