[论文解读] Simultaneous Super-Resolution and Cross-Modality Synthesis of 3D Medical Images using Weakly-Supervised Joint Convolutional Sparse Coding

Yawen Huang, Ling Shao+1 more|arXiv (Cornell University)|May 7, 2017

Advanced Image Processing Techniques参考文献 34被引用 12

一句话总结

本文提出 WEENIE，一种弱监督联合卷积稀疏编码方法，用于同时实现3D医学图像超分辨率（SR）与跨模态合成（CMS），仅利用少量配对的多模态图像和未配对数据，通过异域对齐项和最大均值差异（MMD）正则化实现。该方法通过在共享特征空间中联合优化滤波器对与映射函数，同时保持局部图像邻域结构，在SR与SRCMS任务中均实现了最先进性能。

ABSTRACT

Magnetic Resonance Imaging (MRI) offers high-resolution \emph{in vivo} imaging and rich functional and anatomical multimodality tissue contrast. In practice, however, there are challenges associated with considerations of scanning costs, patient comfort, and scanning time that constrain how much data can be acquired in clinical or research studies. In this paper, we explore the possibility of generating high-resolution and multimodal images from low-resolution single-modality imagery. We propose the weakly-supervised joint convolutional sparse coding to simultaneously solve the problems of super-resolution (SR) and cross-modality image synthesis. The learning process requires only a few registered multimodal image pairs as the training set. Additionally, the quality of the joint dictionary learning can be improved using a larger set of unpaired images. To combine unpaired data from different image resolutions/modalities, a hetero-domain image alignment term is proposed. Local image neighborhoods are naturally preserved by operating on the whole image domain (as opposed to image patches) and using joint convolutional sparse coding. The paired images are enhanced in the joint learning process with unpaired data and an additional maximum mean discrepancy term, which minimizes the dissimilarity between their feature distributions. Experiments show that the proposed method outperforms state-of-the-art techniques on both SR reconstruction and simultaneous SR and cross-modality synthesis.

研究动机与目标

• 为应对临床扫描时间与成本限制，解决从低分辨率、单模态扫描生成高分辨率、多模态3D MRI 的挑战。
• 克服监督方法依赖大规模标注数据集以及基于图像块方法导致融合不一致的局限性。
• 仅使用少量注册图像对与未配对数据，实现超分辨率与跨模态合成的同步处理。
• 通过在统一特征空间中对齐异质数据（不同分辨率、模态、体位），提升表征学习能力。
• 通过在整幅图像域上操作而非图像块，保留局部图像结构，提升空间一致性。

提出的方法

• 该方法采用弱监督联合卷积稀疏编码（WEENIE），在不同图像域（如T1、T2、PD MRI）之间学习统一表征，共享稀疏性约束。
• 引入异域图像对齐项，识别源域与目标域之间的对应关系，对体位变化保持不变，从而可利用未配对图像。
• 通过最大均值差异（MMD）正则化项，最小化配对与未配对数据特征表示之间的分布差异，对联合字典学习过程进行正则化。
• 方法直接在整幅图像域上操作，而非图像块，保留局部邻域结构，提升一致性。
• 在源模态与目标模态表征之间学习映射函数，实现端到端的合成与超分辨率。
• 在共享特征空间中联合优化滤波器对与映射函数，增强表征能力与鲁棒性。

实验结果

研究问题

• RQ1 弱监督方法是否能仅使用少量注册图像对，实现高质量的3D MRI 超分辨率与跨模态合成？
• RQ2 如何有效利用来自不同受试者与模态的未配对图像，提升表征学习能力，而无需完整配准？
• RQ3 引入异域对齐项在多样化图像域之间对应关系学习中的增强程度如何？
• RQ4 在共享特征空间中联合优化滤波器对与映射函数，是否相比基于图像块的方法能更好地保留局部图像结构？
• RQ5 MMD正则化是否能提升模型在有限配对数据与多样化未配对数据上学习时的鲁棒性与泛化能力？

主要发现

• 在IXI数据集上，WEENIE在PD-w输入下对T2-w图像超分辨率任务中达到最高PSNR（37.77 dB）与SSIM（0.8634），优于最先进方法。
• 在NAMIC数据集上，WEENIE在T2-w输入下对T1-w图像合成任务中实现PSNR 29.04 dB与SSIM 0.9173，表现更优。
• 使用未配对数据的模型（WEENIE(reg)）在白质结构与强度分布保持方面优于MIMECS与V-US。
• 在超分辨率与跨模态合成（SRCMS）的联合任务中，WEENIE在IXI与NAMIC数据集的全部六个实验组中，均持续优于MIMECS、V-US与V-S。
• MMD正则化显著提升了模型的鲁棒性与表征质量，所有基准测试中PSNR与SSIM均保持一致提升。
• 视觉对比显示，WEENIE生成的纹理更清晰，强度分布更准确，尤其在解剖边界与灰白质区分方面优于对比方法。