[论文解读] 3D Deep Learning Enables Fast Imaging of Spines through Scattering Media by Temporal Focusing Microscopy

Zhun Wei, Josiah R. Boivin+5 more|arXiv (Cornell University)|Dec 24, 2019

Advanced Fluorescence Microscopy Techniques参考文献 45被引用 5

一句话总结

本文提出一种3D卷积神经网络（CNN），可将低分辨率、噪声较大的时间聚焦显微镜（TFM）图像转换为高分辨率、高信噪比的图像，其质量可与点扫描双光子显微镜（PSTPM）相媲美。通过学习从TFM到PSTPM模态的映射，该方法实现了快速、活体状态下小鼠视觉皮层中树突棘的成像，其分辨率和对比度在以往的TFM中无法达到，成像速度相比PSTPM提升了1至2个数量级。

ABSTRACT

Today the gold standard for in vivo imaging through scattering tissue is the point-scanning two-photon microscope (PSTPM). Especially in neuroscience, PSTPM is widely used for deep-tissue imaging in the brain. However, due to sequential scanning, PSTPM is slow. Temporal focusing microscopy (TFM), on the other hand, focuses femtosecond pulsed laser light temporally, while keeping wide-field illumination, and is consequently much faster. However, due to the use of a camera detector, TFM suffers from the scattering of emission photons. As a result, TFM produces images of poor spatial resolution and signal-to-noise ratio (SNR), burying fluorescent signals from small structures such as dendritic spines. In this work, we present a data-driven deep learning approach to improve resolution and SNR of TFM images. Using a 3D convolutional neural network (CNN) we build a map from TFM to PSTPM modalities, to enable fast TFM imaging while maintaining high-resolution through scattering media. We demonstrate this approach for in vivo imaging of dendritic spines on pyramidal neurons in the mouse visual cortex. We show that our trained network rapidly outputs high-resolution images that recover biologically relevant features previously buried in the scattered fluorescence in the TFM images. In vivo imaging that combines TFM and the proposed 3D convolution neural network is one to two orders of magnitude faster than PSTPM but retains the high resolution and SNR necessary to analyze small fluorescent structures. The proposed 3D convolution deep network could also be potentially beneficial for improving the performance of many speed-demanding deep-tissue imaging applications such as in vivo voltage imaging.

研究动机与目标

• 为克服由于厚组织中光子散射导致的时间聚焦显微镜（TFM）固有的空间分辨率低和信噪比（SNR）差的问题。
• 实现在小鼠视觉皮层中树突棘的快速、活体成像，同时不牺牲分辨率或信噪比。
• 开发一种数据驱动的深度学习框架，学习从TFM到PSTPM图像模态的映射，以提升图像质量。
• 证明所提出的方法能够恢复原始TFM图像中被掩盖的生物相关树突棘结构。

提出的方法

• 训练一个3D卷积神经网络（CNN），学习从3D TFM图像体积到对应高质量3D PSTPM图像体积的映射。
• 网络在来自同一生物样本的配对TFM和PSTPM图像数据集上进行训练，确保空间对应关系。
• 3D CNN架构直接处理体素数据，保留空间上下文信息，支持复杂图像退化模式的端到端学习。
• 使用最小化预测图像与真实PSTPM图像之间像素级重建误差的损失函数对模型进行优化。
• 该方法支持实时推理，可快速从TFM数据生成高分辨率图像。
• 该方法具有良好的泛化能力，适用于其他需要在散射介质中提升分辨率和信噪比的快速成像技术。

实验结果

研究问题

• RQ1 深度学习模型能否有效从低质量、散射严重的活体树突棘TFM图像中恢复出高分辨率结构细节？
• RQ2 基于3D CNN的TFM重建方法在分辨率、信噪比和成像速度方面与传统PSTPM相比表现如何？
• RQ3 训练好的网络在多大程度上能够恢复原始TFM图像中被掩盖的生物相关树突棘形态？
• RQ4 该方法在不同深度和组织散射条件下是否能保持高保真度的图像重建？

主要发现

• 3D CNN成功恢复了在原始TFM图像中因散射和低信噪比而无法分辨的精细树突棘结构。
• 重建图像的分辨率和信噪比与点扫描双光子显微镜（PSTPM）相当，后者是当前的金标准。
• 与PSTPM相比，成像速度提升了1至2个数量级，实现了更快的活体采集。
• 该方法保持了生物保真度，可准确检测和分析如树突棘等小型荧光结构。
• 网络在不同成像深度和生物样本上均表现出良好的泛化能力，显示出在散射环境中的鲁棒性。
• 该方法可扩展应用于其他对速度和分辨率要求高的快速成像应用，如活体电压成像。