[论文解读] Limited Angle Tomography for Transmission X-Ray Microscopy Using Deep Learning

Yixing Huang, Shengxiang Wang+2 more|arXiv (Cornell University)|Jan 8, 2020

Medical Imaging Techniques and Applications参考文献 4被引用 6

一句话总结

本论文提出一种基于深度学习的方法，采用U-Net网络从有限角度数据中重建透射X射线显微镜（TXM）的3D图像，该方法在传统滤波反投影（FBP）因数据缺失而失效的情况下仍能有效工作。通过在具有真实噪声的合成椭球体和多类别数据上进行训练，U-Net显著减少了伪影并大幅提升了图像质量，在合成数据上相比FBP实现RMSE降低54.5%、SSIM提升47.2%；在真实小球藻细胞数据中，成功实现了亚细胞结构的清晰3D可视化。

ABSTRACT

In transmission X-ray microscopy (TXM) systems, the rotation of a scanned sample might be restricted to a limited angular range to avoid collision to other system parts or high attenuation at certain tilting angles. Image reconstruction from such limited angle data suffers from artifacts due to missing data. In this work, deep learning is applied to limited angle reconstruction in TXMs for the first time. With the challenge to obtain sufficient real data for training, training a deep neural network from synthetic data is investigated. Particularly, the U-Net, the state-of-the-art neural network in biomedical imaging, is trained from synthetic ellipsoid data and multi-category data to reduce artifacts in filtered back-projection (FBP) reconstruction images. The proposed method is evaluated on synthetic data and real scanned chlorella data in $100^\circ$ limited angle tomography. For synthetic test data, the U-Net significantly reduces root-mean-square error (RMSE) from $2.55 imes 10^{-3}$ μm$^{-1}$ in the FBP reconstruction to $1.21 imes 10^{-3}$ μm$^{-1}$ in the U-Net reconstruction, and also improves structural similarity (SSIM) index from 0.625 to 0.920. With penalized weighted least square denoising of measured projections, the RMSE and SSIM are further improved to $1.16 imes 10^{-3}$ μm$^{-1}$ and 0.932, respectively. For real test data, the proposed method remarkably improves the 3-D visualization of the subcellular structures in the chlorella cell, which indicates its important value for nano-scale imaging in biology, nanoscience and materials science.

研究动机与目标

• 解决因机械或物理限制导致样品旋转角度受限时，透射X射线显微镜（TXM）中图像重建的挑战。
• 克服有限角度断层成像中因数据缺失导致的严重伪影和重建质量低下问题，尤其针对复杂的生物样品。
• 开发一种即使在复杂生物结构真实训练数据有限的情况下仍具有良好泛化能力的深度学习方法。
• 证明在纳米尺度成像中，利用具有真实噪声建模的合成数据训练U-Net，可实现高保真度3D重建的可行性和有效性。

提出的方法

• 在从椭球体和多类别物体生成的合成数据上训练U-Net架构，以模拟与TXM相关的多样化生物形态。
• 在深度学习重建前，对测量的投影数据应用加权最小二乘惩罚（PWLS）去噪，以提升输入质量。
• 采用两阶段方法：首先通过PWLS对原始投影进行去噪，然后将去噪后的投影输入U-Net，实现3D体数据的端到端重建。
• 利用具有真实噪声和衰减模型的合成数据，模拟同步辐射基TXM系统的物理条件。
• 在训练过程中，使用预测3D体积与真实3D体积之间的均方误差（MSE）损失来优化U-Net。
• 在具有已知真实值的合成数据以及合肥国家同步辐射实验室（NSRL）BL07W光束线获取的真实小球藻数据上评估该方法。

实验结果

研究问题

• RQ1 仅在合成数据上训练的深度神经网络，能否有效重建有限角度投影的3D TXM图像，且伪影最少？
• RQ2 在有限角度断层成像中，预处理采用加权最小二乘惩罚（PWLS）在多大程度上能提升基于深度学习的重建性能？
• RQ3 在合成数据和真实数据上，U-Net方法与传统滤波反投影（FBP）在RMSE和SSIM指标上的定量与定性比较结果如何？
• RQ4 基于深度学习的重建能否恢复在FBP重建中严重失真或缺失的精细亚细胞结构（如脂滴和细胞壁）？
• RQ5 在真实生物样品中同时存在有限角度和数据截断问题时，深度学习重建存在哪些局限性？

主要发现

• 在合成测试数据中，U-Net将RMSE从FBP的2.55×10⁻³ µm⁻¹降低至1.21×10⁻³ µm⁻¹，改善幅度达52.5%。
• 结构相似性（SSIM）指数从FBP的0.625提升至U-Net的0.920，表明结构保真度显著提高。
• 在U-Net输入前应用PWLS去噪后，RMSE进一步降低至1.16×10⁻³ µm⁻¹，SSIM提升至0.932，证明了预处理的显著优势。
• 在真实小球藻数据中，U-Net成功恢复了细胞上下两极区域，并将脂滴重建为接近球形，而FBP中这些结构则严重失真或缺失。
• 3D可视化结果显示，U-Net重建实现了全平面内清晰、无伪影的亚细胞结构可视化，而FBP仅在有限的矢状切片中保持分辨率。
• 尽管性能有所提升，但细胞壁等部分结构仍未被完美重建，表明深度学习模型在噪声、数据稀缺及潜在过拟合方面仍面临挑战。