[论文解读] Advancing biological super-resolution microscopy through deep learning: a brief review

Tianjie Yang, Yaoru Luo+2 more|arXiv (Cornell University)|Jun 24, 2021

Advanced Fluorescence Microscopy Techniques参考文献 136被引用 30

一句话总结

本综述总结了深度学习在超分辨显微成像中的最新进展，展示了神经网络如何通过提升空间和时间分辨率并减少光毒性，来增强图像重建效果。文中重点介绍了Deep-STORM、smNET和DFGAN等先进模型，这些模型实现了低于50 nm的分辨率且伪影极少，使活细胞成像能够实现更快、更低光照的成像。

ABSTRACT

Super-resolution microscopy overcomes the diffraction limit of conventional light microscopy in spatial resolution. By providing novel spatial or spatio-temporal information on biological processes at nanometer resolution with molecular specificity, it plays an increasingly important role in life sciences. However, its technical limitations require trade-offs to balance its spatial resolution, temporal resolution, and light exposure of samples. Recently, deep learning has achieved breakthrough performance in many image processing and computer vision tasks. It has also shown great promise in pushing the performance envelope of super-resolution microscopy. In this brief Review, we survey recent advances in using deep learning to enhance performance of super-resolution microscopy. We focus primarily on how deep learning ad-vances reconstruction of super-resolution images. Related key technical challenges are discussed. Despite the challenges, deep learning is set to play an indispensable and transformative role in the development of super-resolution microscopy. We conclude with an outlook on how deep learning could shape the future of this new generation of light microscopy technology.

研究动机与目标

• 综述深度学习在超分辨显微成像中的整合应用，以提升图像重建性能。
• 识别在伪影最小化、模型泛化性、鲁棒性及可解释性方面的关键技术挑战。
• 评估深度学习模型在多种超分辨成像模式（包括STORM、SIM、STED和PALM）中的性能表现。
• 展望深度学习在推动下一代高性能光学生物显微成像方面的未来发展方向。

提出的方法

• 利用卷积神经网络（CNN）和生成对抗网络（GAN）从低分辨率、噪声大或稀疏的原始数据中重建超分辨图像。
• 采用均方误差（MSE）、L1正则化和结构相似性（SSIM）等损失函数，以优化重建保真度。
• 利用合成数据集和实验数据集进行训练，包括成对数据和增强数据，以提升模型泛化能力。
• 结合物理先验知识和人工设计的点扩散函数（PSFs），引导网络学习，提高重建精度。
• 应用迁移学习和领域自适应技术，增强模型在不同显微镜和成像条件下的鲁棒性。
• 采用NMSE、FWHM、PSNR、SSIM和FRC等指标对模型性能进行定量评估。

实验结果

研究问题

• RQ1 深度学习如何在最小化光损伤的前提下，提升超分辨显微成像的空间和时间分辨率？
• RQ2 将深度学习应用于超分辨图像重建时，其关键技术挑战是什么，特别是在伪影、泛化性和鲁棒性方面？
• RQ3 基于深度学习的方法在重建保真度和速度方面，相较于经典图像处理技术能提升多少？
• RQ4 不同网络架构（如ResNet、VGG16、U-Net）在2D/3D-STORM、SIM和STED等多种超分辨成像模式中的表现如何？
• RQ5 在合成数据上训练的深度学习模型能否有效泛化到真实的实验成像场景？

主要发现

• Deep-STORM和smNET在2D和3D-STORM中实现了低于50 nm的分辨率，与基线方法相比，NMSE降低了高达50%。
• DFGAN和DFCAN模型在SIM重建中将NRMSE降低了30–40%，提升了分辨率并减少了失相干伪影。
• 基于GAN的模型如Res-UNet在宽场和共聚焦成像中实现了5–8 dB的PSNR提升和0.1–0.2的SSIM增加。
• ANNA-PALM等模型在PALM成像中将时间分辨率提升了2–3倍，实现了低信号损失的快速活细胞成像。
• 基于深度学习的去噪技术使STED和SMLM成像中所需的激光照射时间减少了高达50%，显著降低了光毒性。
• 利用深度学习进行光谱解混，减少了多色成像中的串扰，提升了有效分辨率并加快了采集速度。