[论文解读] Learning to Reconstruct Confocal Microscopy Stacks from Single Light Field Images

Josué Page Vizcaíno, Federico Saltarin+3 more|arXiv (Cornell University)|Mar 24, 2020

Cell Image Analysis Techniques参考文献 34被引用 8

一句话总结

该论文提出 LFMNet，一种基于深度学习的方法，可从单张光场显微镜（LFM）图像重建高分辨率3D共聚焦显微镜图像堆栈，实现50ms的推理时间，并与传统共聚焦成像相比将扫描时间减少720倍、存储需求降低64倍。该方法使用真实配对的 LFM 与共聚焦数据进行训练，实现接近共聚焦成像质量的重建结果，适用于实时活体3D显微成像。

ABSTRACT

We present a novel deep learning approach to reconstruct confocal microscopy stacks from single light field images. To perform the reconstruction, we introduce the LFMNet, a novel neural network architecture inspired by the U-Net design. It is able to reconstruct with high-accuracy a 112x112x57.6$μm^3$ volume (1287x1287x64 voxels) in 50ms given a single light field image of 1287x1287 pixels, thus dramatically reducing 720-fold the time for confocal scanning of assays at the same volumetric resolution and 64-fold the required storage. To prove the applicability in life sciences, our approach is evaluated both quantitatively and qualitatively on mouse brain slices with fluorescently labelled blood vessels. Because of the drastic reduction in scan time and storage space, our setup and method are directly applicable to real-time in vivo 3D microscopy. We provide analysis of the optical design, of the network architecture and of our training procedure to optimally reconstruct volumes for a given target depth range. To train our network, we built a data set of 362 light field images of mouse brain blood vessels and the corresponding aligned set of 3D confocal scans, which we use as ground truth. The data set will be made available for research purposes.

研究动机与目标

• 解决传统共聚焦显微镜存在的光毒性高、扫描时间长以及存储需求大的问题。
• 克服基于模型的去卷积在 LFM 中的局限性，包括空间分辨率差、伪影多以及计算成本高等问题。
• 开发一种基于深度学习的方法，利用真实对齐数据而非合成数据，从单张 LFM 图像重建高保真3D体数据。
• 通过大幅缩短采集与重建时间，实现真正意义上的实时活体3D成像。

提出的方法

• 提出 LFMNet，一种受U-Net启发的卷积神经网络架构，用于从单张 LFM 图像重建3D体数据。
• 在包含362对配对的光场图像与对应3D共聚焦显微镜图像堆栈的真实数据集上训练网络。
• 采用一种新颖的配准技术，利用基于模型的重建与2D互相关图，实现无需人工标注即可将 LFM 图像与共聚焦体数据对齐。
• 采用4D光场表示，包含空间与角度视图，其中每个微透镜从不同角度捕捉光线。
• 应用基于去卷积的方法生成近似清晰的体数据用于对齐，从而提升训练数据质量。
• 通过聚焦于特定深度范围优化网络训练，该范围由光学设计与点扩散函数（PSF）建模提供依据。

实验结果

研究问题

• RQ1 在真实 LFM 与共聚焦数据上训练的深度学习模型，能否实现与共聚焦显微镜相当的重建质量？
• RQ2 与使用合成数据相比，使用真实数据对3D重建性能与泛化能力有何影响？
• RQ3 深度学习模型在保持高空间分辨率的前提下，能在多大程度上减少扫描时间与存储需求？
• RQ4 所提出的方法能否通过实现亚秒级重建时间，实现真正的实时活体3D显微成像？
• RQ5 在特定深度范围内，实现高精度重建的最优光学与网络设计是什么？

主要发现

• LFMNet 在50ms内重建了112×112×57.6µm³的体数据（1287×1287×64个体素），与传统共聚焦成像相比，扫描时间减少720倍，存储需求降低64倍。
• 在荧光标记的血管小鼠脑切片上的验证表明，该方法的重建质量接近共聚焦成像水平。
• 使用真实配对数据（362张 LFM 图像与对齐的共聚焦堆栈）训练，相比合成数据训练，实现了更优的泛化性能。
• 配准流程达到足够的精度（亚像素级别），可支持高质量训练，且无需人工标注。
• 网络实现每秒10帧的重建速度，主要受限于相机曝光时间（100ms），具备实现实时成像的潜力。
• 光学设计与PSF建模表明，2.8µm物体的模糊范围大约覆盖20个微透镜，为网络输入与卷积核大小的选择提供了依据。