[论文解读] Isotropic reconstruction of 3D fluorescence microscopy images using convolutional neural networks

Martin Weigert, Löıc A. Royer+2 more|arXiv (Cornell University)|Apr 5, 2017

Cell Image Analysis Techniques参考文献 12被引用 6

一句话总结

该论文提出IsoNet-2，一种深度学习方法，通过在相同数据上进行端到端训练，从各向异性的单视角采集中恢复各向同性3D荧光显微镜分辨率。通过自监督超分辨率和去卷积学习样本特定的图像先验，该网络实现了与完整各向同性数据相当的轴向分辨率，从而在信息损失最小的情况下实现精确的下游分割。

ABSTRACT

Fluorescence microscopy images usually show severe anisotropy in axial versus lateral resolution. This hampers downstream processing, i.e. the automatic extraction of quantitative biological data. While deconvolution methods and other techniques to address this problem exist, they are either time consuming to apply or limited in their ability to remove anisotropy. We propose a method to recover isotropic resolution from readily acquired anisotropic data. We achieve this using a convolutional neural network that is trained end-to-end from the same anisotropic body of data we later apply the network to. The network effectively learns to restore the full isotropic resolution by restoring the image under a trained, sample specific image prior. We apply our method to $3$ synthetic and $3$ real datasets and show that our results improve on results from deconvolution and state-of-the-art super-resolution techniques. Finally, we demonstrate that a standard 3D segmentation pipeline performs on the output of our network with comparable accuracy as on the full isotropic data.

研究动机与目标

• 解决由于光学点扩散函数（PSF）各向异性和轴向欠采样导致的3D荧光显微镜中轴向分辨率退化问题。
• 开发一种无需额外真实标签数据或复杂多视角成像设置即可恢复各向同性分辨率的方法。
• 使下游分析（如3D分割）在重建数据上的表现接近真实各向同性数据的精度。
• 通过允许对轴向体积进行显著子采样，减少数据采集负担，从而降低光毒性并减小文件大小。

提出的方法

• 该方法使用类似U-Net的卷积神经网络（IsoNet-2），在与其后续处理相同的各向异性数据集上进行端到端训练。
• 通过利用横向与轴向分辨率的各向异性，将问题形式化为自监督超分辨率与去卷积任务。
• 网络学习将下采样、模糊的轴向切片（pxy）映射回高分辨率横向切片（gxy），使用旋转或分割的PSF模型。
• 通过最小化预测值与原始横向块之间的像素级PSNR损失进行训练。
• 网络在训练过程中学习样本特定的图像先验，用于在轴向上去模糊并恢复各向同性分辨率。
• 该方法无需真实标签；相反，它利用数据中固有的各向异性作为监督信号。

实验结果

研究问题

• RQ1 卷积神经网络能否在无需真实标签数据的情况下，从单个体素各向异性显微镜体积中恢复各向同性3D分辨率？
• RQ2 与经典去卷积和最先进的超分辨率技术相比，此类网络的性能如何？
• RQ3 重建后的各向同性数据在多大程度上保持了生物结构保真度，以支持下游分析？
• RQ4 标准3D分割流程在重建数据上的表现能否与真实各向同性数据几乎完全一致？
• RQ5 在保持可用分辨率的前提下，数据采集可减少到何种程度（例如通过轴向子采样）？

主要发现

• 在合成核细胞数据上，IsoNet-2的分割F1分数（SEG指标）达到0.9128，而各向异性输入为0.7415，真实标签为0.9234。
• 对于肝组织数据，该方法成功从8倍轴向子采样（每8个切片取一个）中恢复了各向同性分辨率，其视觉质量与完整各向同性体积几乎完全一致。
• 在所有测试数据集上，该方法在定量和感知质量方面均优于Richardson-Lucy去卷积和最先进的超分辨率技术。
• 果蝇和秀丽隐杆线虫数据集的重建轴向切片在视觉锐度和各向同性方面与原始XY切片相当，证明了其在不同生物样本间的泛化能力。
• 将标准3D分割流程应用于IsoNet-2输出时，分割精度几乎与完整各向同性数据无法区分，证实其在下游分析中的实用性。
• 该方法可将轴向采样降低至1/8（仅12.5%的数据），同时保持分辨率和分割保真度，相应地降低光毒性与存储需求。