[论文解读] Deep neural networks automate detection for tracking of submicron scale particles in 2D and 3D

Jay Newby, Alison Schaefer+3 more|arXiv (Cornell University)|Apr 10, 2017

Species Distribution and Climate Change参考文献 6被引用 9

一句话总结

本文提出一种参数超过50,000个的深度卷积神经网络，可在无需用户定义输入参数的情况下，自动实现2D和3D视频中亚微米粒子的追踪。该模型在多种视频条件下进行训练，实现了极低的误报率和漏报率，在具有高时空异质性和低信噪比的复杂生物环境中，其性能优于传统方法。

ABSTRACT

Particle tracking is a powerful biophysical tool that requires conversion of large video files into position time series, i.e. traces of the species of interest for data analysis. Current tracking methods, based on a limited set of input parameters to identify bright objects, are ill-equipped to handle the spectrum of spatiotemporal heterogeneity and poor signal-to-noise ratios typically presented by submicron species in complex biological environments. Extensive user involvement is frequently necessary to optimize and execute tracking methods, which is not only inefficient but introduces user bias. To develop a fully automated tracking algorithm, we developed a convolutional neural network comprised of over 50,000 parameters, and employed deep learning to train the network on a diverse portfolio of video conditions. The neural network tracker, with no user-dependent input parameters, offered superior tracking performance, with exceptionally low lower false positive and false negative rates on both 2D and 3D simulated videos and 2D experimental videos of difficult-to-track species.

研究动机与目标

• 解决传统粒子追踪算法中因手动参数调优导致的效率低下和用户偏见问题。
• 克服现有追踪方法在处理亚微米粒子成像中低信噪比和高时空异质性方面的局限性。
• 开发一种完全自动化的追踪系统，适用于多种生物成像条件，且无需用户输入参数。
• 利用深度学习实现复杂环境中难以检测的亚微米粒子的鲁棒追踪。

提出的方法

• 采用参数超过50,000个的卷积神经网络（CNN），直接从视频数据中学习特征。
• 在多样化的模拟和实验视频条件组合上训练网络，以实现对各种成像挑战的泛化能力。
• 设计网络以检测和追踪粒子，而无需用户定义的阈值或滤波参数。
• 采用端到端学习，直接将原始视频帧映射为粒子位置的时间序列（轨迹）。
• 使用反向传播和随机梯度下降对网络进行优化，基于标注的粒子轨迹数据。
• 在2D和3D模拟视频以及具有挑战性的亚微米粒子的真实2D实验视频上验证性能。

实验结果

研究问题

• RQ1 深度学习模型是否能够消除亚微米粒子追踪中对用户定义参数的依赖？
• RQ2 所提出的神经网络追踪器在误报率和漏报率方面与传统方法相比表现如何？
• RQ3 该模型在具有不同信噪比和时空动态特性的多样化视频条件下，其泛化能力如何？
• RQ4 该模型是否能在传统方法失效的复杂生物环境中实现鲁棒追踪？

主要发现

• 该深度神经网络追踪器在2D和3D模拟视频上均实现了极低的误报率和漏报率。
• 在多种视频条件下，该模型的追踪性能显著优于传统方法。
• 该追踪器无需依赖用户输入的参数，实现了追踪流程的完全自动化。
• 该方法在实验2D视频中对难以检测的亚微米粒子实现了高精度追踪。
• 该网络在具有高时空异质性的复杂生物环境中表现出良好的泛化能力。
• 该方法显著减少了用户参与，消除了粒子追踪工作流程中的用户偏见。