[论文解读] CoIL: Coordinate-based Internal Learning for Imaging Inverse Problems

Yu Sun, Jiaming Liu+3 more|arXiv (Cornell University)|Feb 9, 2021

Medical Imaging Techniques and Applications参考文献 96被引用 18

一句话总结

CoIL 提出了一种自监督深度学习方法，通过多层感知机（MLP）将坐标输入（例如，视角角度和探测器位置）映射到传感器响应，从而学习成像逆问题中完整测量场的连续表示。该方法仅使用测试对象自身的稀疏、噪声测量数据进行训练，生成高质量、全视角的 sinogram，显著提升了多种方法（包括基于模型和深度学习的方法）在稀疏视角 CT 中的重建质量。

ABSTRACT

We propose Coordinate-based Internal Learning (CoIL) as a new deep-learning (DL) methodology for the continuous representation of measurements. Unlike traditional DL methods that learn a mapping from the measurements to the desired image, CoIL trains a multilayer perceptron (MLP) to encode the complete measurement field by mapping the coordinates of the measurements to their responses. CoIL is a self-supervised method that requires no training examples besides the measurements of the test object itself. Once the MLP is trained, CoIL generates new measurements that can be used within a majority of image reconstruction methods. We validate CoIL on sparse-view computed tomography using several widely-used reconstruction methods, including purely model-based methods and those based on DL. Our results demonstrate the ability of CoIL to consistently improve the performance of all the considered methods by providing high-fidelity measurement fields.

研究动机与目标

• 开发一种自监督深度学习方法，利用单个物体测量数据中的内在冗余性，实现高保真度测量场重建。
• 通过仅使用测试对象自身稀疏且含噪的测量数据进行训练，消除对外部训练数据集的依赖。
• 实现与多种图像重建方法（包括基于模型和深度学习的方法）的协同集成。
• 证明基于坐标的神经表示能够有效建模并增强计算机断层扫描中的成像逆问题。

提出的方法

• 训练一个多层感知机（MLP），将测量坐标（例如，视角角度 θ 和探测器位置 l）映射到传感器响应 r，从而形成完整测量场的连续表示。
• 使用从测试对象实际测量数据中提取的坐标-响应对进行训练，使该方法具备自监督性和数据高效性。
• 采用一种新颖的 MLP 架构，仅包含 256 个隐藏神经元，尽管结构紧凑，仍能实现高效训练与部署。
• 通过在任意坐标处查询训练好的 MLP，生成高分辨率、全视角的 sinogram，可作为标准重建算法的输入。
• 通过提供增强的测量输入，该方法与基于模型的方法（例如，FBP、FISTA-TV）和深度学习方法（例如，FBP-UNet、GM-RED）均兼容。
• 采用基于线性展开的 FFM 层以稳定训练过程，并提升所学测量场的质量。

实验结果

研究问题

• RQ1 基于坐标的神经表示能否仅从测试对象自身的稀疏且含噪测量数据中学习到高保真度的连续测量场？
• RQ2 输入数据中视角数量和噪声水平的变化如何影响重建测量场的质量？
• RQ3 所生成的测量场在多大程度上能提升各类重建算法的图像重建性能？
• RQ4 所提出的方法是否能在基于模型和深度学习的重建框架中持续提升性能？

主要发现

• CoIL 生成的 sinogram 在所有视角数量下均显著优于输入测量数据，即使在输入 SNR 为 30 dB 时，SNR 提升也超过 7 dB。
• 对于 60 个视角、输入 SNR 为 30 dB 的 FBP 方法，CoIL 将重建 SNR 提升高达 20 dB，表明在高噪声条件下具有显著性能增益。
• 即使在低噪声条件下（输入 SNR 为 50 dB），CoIL 仍带来可测量的改进：FBP-UNet 使用 CoIL 生成的测量数据后，SNR 提升了 1.02 dB。
• 视觉对比显示图像质量明显提升，结构细节更清晰，伪影更少，尤其在边界框内箭头标注区域表现更优。
• 该方法与所有测试的重建算法（包括基于模型的，如 FBP、FISTA-TV；以及深度学习的，如 FBP-UNet、GM-RED）均产生协同增益，展现出广泛的兼容性与有效性。
• CoIL 生成的测量场质量随视角数量增加或噪声水平降低而提升，表明其对输入条件具有良好的可扩展性与鲁棒性。