[论文解读] Unsupervised Learning for Large-Scale Fiber Detection and Tracking in Microscopic Material Images

Hongkai Yu, Dazhou Guo+5 more|arXiv (Cornell University)|May 25, 2018

Video Surveillance and Tracking Methods参考文献 24被引用 7

一句话总结

该论文提出了一种无监督深度学习方法，用于在显微材料图像中进行大规模纤维检测与追踪，通过利用纤维形状/尺寸先验和追踪中的时空一致性，在Faster R-CNN训练过程中模拟监督信号。该方法在无需任何人工标注的情况下，检测F-measure达到近99%，追踪MOTA达到99%。

ABSTRACT

Constructing 3D structures from serial section data is a long standing problem in microscopy. The structure of a fiber reinforced composite material can be reconstructed using a tracking-by-detection model. Tracking-by-detection algorithms rely heavily on detection accuracy, especially the recall performance. The state-of-the-art fiber detection algorithms perform well under ideal conditions, but are not accurate where there are local degradations of image quality, due to contaminants on the material surface and/or defocus blur. Convolutional Neural Networks (CNN) could be used for this problem, but would require a large number of manual annotated fibers, which are not available. We propose an unsupervised learning method to accurately detect fibers on the large scale, that is robust against local degradations of image quality. The proposed method does not require manual annotations, but uses fiber shape/size priors and spatio-temporal consistency in tracking to simulate the supervision in the training of the CNN. Experiments show significant improvements over state-of-the-art fiber detection algorithms together with advanced tracking performance.

研究动机与目标

• 解决在存在局部图像质量退化（如模糊和染色）的大规模显微材料图像中实现精确纤维检测的挑战。
• 克服最先进监督方法依赖大量人工标注的局限性，这些方法在大规模数据集上不切实际。
• 开发一种完全无监督的学习框架，通过利用时空一致性和几何先验来提升检测与追踪的准确性。
• 在现有方法因分割和椭圆拟合效果差而失效的退化图像区域中，实现鲁棒的纤维检测与追踪。

提出的方法

• 通过在多个迭代步骤中交替进行Faster R-CNN推理与纤维追踪，利用时间一致性来优化检测结果。
• 利用纤维形状和尺寸先验（如椭圆形态）在缺乏真实标签的情况下约束和引导检测预测。
• 利用追踪中的时空一致性来模拟监督：通过轨迹连续性恢复退化区域中的漏检（假阴性），并通过追踪一致性去除误检（假阳性）。
• 以无监督基线方法（EMMPM或EdgeBox）初始化检测，并通过利用追踪生成的伪标签进行端到端训练，迭代优化检测性能。
• 通过使用追踪预测的边界框作为伪监督信号，以无监督方式训练Faster R-CNN模型，损失函数在多轮迭代中持续优化。
• 将最终训练好的模型应用于三个数据集的新图像中进行纤维检测，实现高性能，且无需任何人工标注。

实验结果

研究问题

• RQ1 无监督深度学习方法是否能在无需人工标注的情况下，实现在大规模显微材料图像中的高精度纤维检测？
• RQ2 时空一致性和几何先验的结合在局部图像退化条件下对提升检测鲁棒性的有效性如何？
• RQ3 检测与追踪之间的迭代优化在多大程度上能够同时提升纤维检测与追踪性能？
• RQ4 所提出的方法在F-measure和MOTA等追踪指标上是否能够超越最先进的监督与无监督纤维检测方法？

主要发现

• 所提出的无监督方法在三个独立数据集上实现了接近99%的F-measure，显著优于最先进方法[32]和基线EMMPMH。
• 以EMMPMH作为初始化，经过四轮迭代后，纤维追踪的MOTA达到99.3%，展现出强大的追踪鲁棒性。
• 该方法在迭代过程中逐步提升检测性能，3–4轮内收敛，且精确率、召回率和F-measure均持续提升。
• 即使无任何人工标注，使用EdgeBox初始化时，方法仍实现95.2%的召回率和94.6%的MOTA，表明其在退化与清晰图像区域中均具有强大泛化能力。
• 采用更优的初始化（EMMPMH对比EdgeBox）可显著提升追踪性能，最终迭代中ID切换数从47例减少至4例。
• 该方法通过利用轨迹连续性，有效恢复了模糊和染色区域中的假阴性样本，同时通过追踪一致性有效抑制了假阳性样本。