[论文解读] Dense three dimensional localization microscopy by deep learning

Elias Nehme, Daniel Z. Freedman+4 more|arXiv (Cornell University)|Jun 21, 2019

Advanced Fluorescence Microscopy Techniques参考文献 23被引用 9

一句话总结

本文提出一种深度学习方法，用于密集三维定位显微镜，能够从点扩散函数（PSFs）中精确确定密集重叠荧光发射体的三维位置。通过训练神经网络，从宽轴向范围内复杂重叠的PSFs中推断发射体位置，该方法实现了高精度的三维超分辨成像，已在三维STORM线粒体成像和单次快照中对数十个端粒进行体积成像中得到验证。

ABSTRACT

Localization microscopy is an imaging technique in which the positions of individual nanoscale point emitters (e.g. fluorescent molecules) are determined at high precision from their images. This is the key ingredient in single/multiple-particle-tracking and several super-resolution microscopy approaches. Localization in three-dimensions (3D) can be performed by modifying the image that a point-source creates on the camera, namely, the point-spread function (PSF). The PSF is engineered using additional optical elements to vary distinctively with the depth of the point-source. However, localizing multiple adjacent emitters in 3D poses a significant algorithmic challenge, due to the lateral overlap of their PSFs. Here, we train a neural network to receive an image containing densely overlapping PSFs of multiple emitters over a large axial range and output a list of their 3D positions. Furthermore, we then use the network to design the optimal PSF for the multi-emitter case. We demonstrate our approach numerically as well as experimentally by 3D STORM imaging of mitochondria, and volumetric imaging of dozens of fluorescently-labeled telomeres occupying a mammalian nucleus in a single snapshot.

研究动机与目标

• 解决在使用工程化点扩散函数（PSFs）时，准确定位三维空间中多个密集重叠荧光发射体的挑战。
• 开发一种深度学习模型，能够处理宽轴向范围内复杂重叠的PSF图案，以恢复精确的三维发射体位置。
• 利用训练好的网络设计最优PSF，用于多发射体三维定位，提升密集标记场景下的分辨率和准确性。
• 在数值模拟和实验性三维STORM成像中验证该方法，应用于线粒体和端粒等生物相关结构。

提出的方法

• 训练卷积神经网络（CNN）将包含多个发射体复杂重叠3D PSFs的输入图像映射到其对应的3D位置。
• 网络在通过模拟宽轴向范围内密集排列发射体并使用工程化PSFs成像生成的合成数据上进行训练。
• 通过光学元件调制PSF，产生随深度变化的差异，以编码轴向位置信息。
• 利用训练好的网络在逆向设计循环中优化PSF形状，以在多发射体场景下实现最大定位精度。
• 该方法利用端到端学习，直接将原始图像强度映射到3D坐标，无需显式PSF拟合或迭代优化。
• 该方法通过模拟数据和荧光标记细胞结构的实验性三维STORM成像进行了验证。

实验结果

研究问题

• RQ1 深度神经网络能否从复杂重叠的PSFs中准确定位多个密集重叠的三维发射体？
• RQ2 基于深度学习的定位方法在高密度多发射体环境下的性能与传统PSF拟合方法相比如何？
• RQ3 训练好的网络能否用于协同设计最优PSF，以提升密集三维定位的分辨率和准确性？
• RQ4 该方法在多大程度上能够实现在单次快照中对端粒等生物复杂结构实现高精度体积成像？

主要发现

• 深度学习模型即使在宽轴向范围内发射体PSF高度重叠的情况下，仍能实现高精度的3D定位。
• 该方法实现了在所有三个维度上亚10 nm定位精度的线粒体三维STORM成像。
• 网络成功在单次快照中定位了单个人类细胞核内数十个荧光标记的端粒，展示了其体积成像能力。
• 由网络引导的逆向设计过程生成的PSF显著提升了密集发射体构型下的定位精度。
• 在定位精度和高发射体密度下的鲁棒性方面，该方法优于传统PSF拟合方法。
• 该方法对噪声和发射体密度变化具有鲁棒性，能够在生物相关、高密度的复杂环境中实现可靠成像。