[论文解读] Multi-modality imaging with structure-promoting regularisers

Matthias J. Ehrhardt|arXiv (Cornell University)|Jul 22, 2020

Photoacoustic and Ultrasonic Imaging参考文献 130被引用 6

一句话总结

本文提出了一种用于多模态成像的结构促进正则化方法，通过利用图像之间的结构相似性（特别是边缘位置和方向）来提高重建质量。通过结合基于边缘的相似性度量与凸变分正则化，该方法实现了稳健且可计算的联合重建，在PET-MR和多对比度MRI中尤为有效，并在仿真研究中得到验证。

ABSTRACT

Imaging with multiple modalities or multiple channels is becoming increasingly important for our modern society. A key tool for understanding and early diagnosis of cancer and dementia is PET-MR, a combined positron emission tomography and magnetic resonance imaging scanner which can simultaneously acquire functional and anatomical data. Similarly in remote sensing, while hyperspectral sensors may allow to characterise and distinguish materials, digital cameras offer high spatial resolution to delineate objects. In both of these examples, the imaging modalities can be considered individually or jointly. In this chapter we discuss mathematical approaches which allow to combine information from several imaging modalities so that multi-modality imaging can be more than just the sum of its components.

研究动机与目标

• 通过利用不同模态之间的结构相似性，解决多模态成像中图像重建的挑战。
• 通过引入具有共享解剖结构的第二模态的辅助信息，克服单模态重建的局限性。
• 构建数学上严谨的凸正则化框架，以促进多幅图像之间的结构一致性。
• 在PET-MR、多对比度MRI和遥感等应用中，实现更准确、更可靠的图像重建。
• 通过提供超越顺序性、单向方法的协同多模态成像基础，推动联合重建技术的最新进展。

提出的方法

• 将未知图像 $ u $ 从数据 $ f $ 中通过前向模型 $ K $ 重建的问题表述为变分逆问题。
• 引入结构促进正则化项，以在主图像 $ u $ 与辅助信息 $ v $ 之间强制实现边缘位置和方向的相似性。
• 通过边缘集合和平行等高线集定义结构相似性，实现保留几何特征的凸正则化。
• 使用Primal-Dual Hybrid Gradient（PDHG）方法进行凸优化，以高效求解所得的正则化问题。
• 构建光滑或非光滑的正则化项，确保计算可处理性的同时保持结构保真度。
• 将该框架应用于PET-MR、多对比度MRI和高光谱成像等多模态场景，其中预期存在解剖或结构一致性。

实验结果

研究问题

• RQ1 如何在数学上建模多模态成像之间的结构相似性，以提升图像重建质量？
• RQ2 哪些凸正则化策略能有效促进图像之间边缘位置和方向的一致性，而无需假设完美对齐？
• RQ3 与单模态方法相比，结构促进正则化在多模态成像中能在多大程度上提升重建质量？
• RQ4 当前单向重建方法存在哪些局限性？如何使联合重建策略在计算上可行且数学上严谨？
• RQ5 在变分框架中，如何处理模态之间的错配问题，同时保持结构一致性？

主要发现

• 所提出的结构促进正则化方法成功通过利用PET-MR和多对比度MRI等模态间的共享解剖结构，提升了图像重建质量。
• 该框架通过PDHG实现高效求解，即使在多模态正则化复杂度较高的情况下，仍能保证计算可处理性。
• 仿真研究证明，该正则化方法在噪声较大或数据有限的条件下，仍能有效保持边缘和结构细节。
• 与标准单模态重建相比，该方法通过利用辅助信息提升了空间分辨率和对比度，且未引入伪影。
• 该方法可推广至多种模态，包括RGB彩色成像、高光谱成像和光谱CT，其中结构一致性是关键特征。
• 尽管在理论和实证性能上表现强劲，但在处理错配和实现稳健联合重建方面仍存在挑战，凸显了实际部署中的开放性问题。