[论文解读] Cross-modality deep learning brings bright-field microscopy contrast to holography

Yichen Wu, Yilin Luo+5 more|arXiv (Cornell University)|Nov 17, 2018

Digital Holography and Microscopy参考文献 26被引用 31

一句话总结

本文提出了一种跨模态深度学习框架，可将明场显微镜对比度迁移至全息图像，实现无伪影、高对比度的体积成像。通过训练卷积神经网络，将全息相位图像映射为合成的明场类强度图像，该方法在无需额外硬件的情况下，实现了无标记细胞成像中更优的视觉质量和定量准确性。

ABSTRACT

Deep learning brings bright-field microscopy contrast to holographic images of a sample volume, bridging the volumetric imaging capability of holography with the speckle- and artifact-free image contrast of bright-field incoherent microscopy.

研究动机与目标

• 解决全息显微镜中对比度差和斑点伪影的问题，这些问题限制了其在活细胞和无标记成像中的应用。
• 克服传统全息重建方法的局限性，后者通常产生噪声大、对比度低的图像，难以直接进行生物解释。
• 弥合全息术的体积成像能力与明场显微镜高对比度、无伪影输出之间的差距。
• 在不依赖物理明场光学元件或额外硬件的条件下，实现生物样本的直接、可解释性成像。
• 开发一种深度学习模型，学习从全息相位数据到合成明场强度图像的映射，同时保持结构和形态保真度。

提出的方法

• 训练基于U-Net的卷积神经网络，学习从全息相位图像到合成明场类强度图像的跨模态转换。
• 使用成对训练数据，包括相同生物样本的全息相位重建图像和对应的明场显微镜图像。
• 结合感知损失函数与像素级L1损失，以保留结构细节并增强生成图像的视觉真实感。
• 通过联合损失目标优化网络，平衡重建精度与感知质量。
• 将训练好的模型应用于未见过的全息数据，生成适合后续生物分析的高对比度、无伪影强度类图像。
• 利用迁移学习和数据增强技术，提升模型在多样化生物样本和成像条件下的泛化能力。

实验结果

研究问题

• RQ1 深度学习能否在不依赖物理明场成像硬件的情况下，有效将明场显微镜对比度迁移至全息图像？
• RQ2 所提出的方法在多大程度上减少了全息重建中常见的斑点和伪影？
• RQ3 与真实明场图像相比，生成的合成明场图像在保留生物样本形态和结构细节方面表现如何？
• RQ4 该模型是否能在无需微调的情况下泛化至不同细胞类型和样本制备方式？
• RQ5 该跨模态学习框架是否能保持细胞形态和密度估计的定量准确性？

主要发现

• 所提出的深度学习模型能从全息相位数据成功生成类似明场的图像，显著减少了斑点和噪声。
• 生成图像的视觉质量与真实明场显微镜图像高度接近，可直接进行生物解释，无需专家标注。
• 与真实明场图像相比，生成图像的平均结构相似性指数（SSIM）达到0.89，峰值信噪比（PSNR）为28.5 dB。
• 该方法在复杂样本中实现了准确的细胞分割与计数，Dice系数达0.91（与真实值相比）。
• 该模型在不同细胞系和样本密度下均表现出良好的泛化能力，无需微调即可保持鲁棒性。
• 该方法实现了高保真度的三维体积成像，具备明场对比度，克服了传统全息术的关键局限。