[论文解读] Deep learning-enabled image quality control in tomographic reconstruction: Robust optical diffraction tomography

DongHun Ryu, YoungJu Jo+7 more|Figshare|Mar 5, 2019

Digital Holography and Microscopy参考文献 35被引用 4

一句话总结

本文提出了一种基于深度学习的质量控制方法，用于光学衍射断层扫描（ODT），可自动检测有缺陷的全息数据。该方法采用大规模标注数据集（包含清晰与噪声光学场图像）训练卷积神经网络（CNN），模型在测试中准确率超过90%，优于非专家的人工目检和基于规则的方法，并通过过滤低质量原始数据显著提升了断层重建质量。

ABSTRACT

In tomographic reconstruction, the image quality of the reconstructed images can be significantly degraded by defects in the measured two-dimensional (2D) raw image data. Despite the importance of screening defective 2D images for robust tomographic reconstruction, manual inspection and rule-based automation suffer from low-throughput and insufficient accuracy, respectively. Here, we present deep learning-enabled quality control for holographic data to produce robust and high-throughput optical diffraction tomography (ODT). The key idea is to distill the knowledge of an expert into a deep convolutional neural network. We built an extensive database of optical field images with clean/noisy annotations, and then trained a binary classification network based upon the data. The trained network outperformed visual inspection by non-expert users and a widely used rule-based algorithm, with > 90% test accuracy. Subsequently, we confirmed that the superior screening performance significantly improved the tomogram quality. To further confirm the trained model's performance and generalizability, we evaluated it on unseen biological cell data obtained with a setup that was not used to generate the training dataset. Lastly, we interpreted the trained model using various visualization techniques that provided the saliency map underlying each model inference.

研究动机与目标

• 解决在断层重建中，对有缺陷的2D原始图像数据进行人工或基于规则的筛查效率低、准确性差的挑战。
• 利用深度学习开发一种自动化、可扩展的光学衍射断层扫描（ODT）图像质量控制解决方案。
• 通过在重建前剔除有缺陷的输入数据，提升重建体素图的鲁棒性与质量。
• 确保训练模型在未包含于训练数据中的不同生物细胞样本和成像设置下具备良好的泛化能力。
• 利用显著性图等可解释性技术，解析模型的决策过程。

提出的方法

• 构建了一个大规模光学场图像数据库，包含清晰与有缺陷的标注，用于训练深度学习模型。
• 训练一个二分类卷积神经网络（CNN），以区分清晰与有缺陷的全息数据。
• 通过专家标注的知识蒸馏技术提升模型性能与泛化能力。
• 将训练好的模型应用于重建前对原始2D全息数据进行筛查。
• 利用显著性图与可视化技术解释模型的预测结果，识别影响分类的关键特征。
• 在与训练数据成像设置不同的未见生物细胞数据上验证了该方法的有效性。

实验结果

研究问题

• RQ1 深度学习模型能否在识别光学衍射断层扫描中的有缺陷全息数据方面超越非专家的人工目检？
• RQ2 基于深度学习的质量控制系统能否提升断层重建的准确性和鲁棒性？
• RQ3 该训练模型在未见的生物样本和成像条件下（训练数据中未包含）的泛化能力如何？
• RQ4 模型在分类图像质量时依赖哪些特征？这些特征是否具有可解释性？
• RQ5 从专家标注中进行知识蒸馏能否提升深度学习模型在图像质量控制中的性能？

主要发现

• 深度学习模型在分类清晰与有缺陷的全息图像方面，测试准确率超过90%，优于非专家人工目检和一种广泛使用的基于规则的算法。
• 利用训练模型对原始数据进行预筛查，显著提升了重建体素图的质量。
• 该模型在使用不同成像设置采集的未见生物细胞数据上表现出良好的泛化能力。
• 显著性图分析表明，模型聚焦于全息图中的相关结构特征，表明其决策过程具有意义且可解释。
• 该模型在多种不同的生物样本上表现稳定，展现出在高通量ODT系统中实际部署的潜力。
• 将深度学习集成于图像质量控制流程，减少了对人工检查的依赖，实现了可扩展的自动化数据验证，适用于断层重建流程。