[论文解读] Retrospective Motion Correction of MR Images using Prior-Assisted Deep Learning

Soumick Chatterjee, Alessandro Sciarra+4 more|arXiv (Cornell University)|Nov 28, 2020

Advanced MRI Techniques and Applications参考文献 17被引用 7

一句话总结

本文提出了一种基于先验的深度学习框架，用于通过利用未受损的图像先验（特别是同一受试者的不同MRI对比度或来自不同受试者的相似切片）实现MRI的回顾性运动伪影校正。该方法通过多通道或双分支网络结构增强UNet和ResNet架构以整合先验信息，显著提升了运动伪影的减少效果，尤其在使用多对比度先验时效果更佳，且ResNet在两种先验整合方法中均表现出一致的性能提升。

ABSTRACT

In MRI, motion artefacts are among the most common types of artefacts. They can degrade images and render them unusable for accurate diagnosis. Traditional methods, such as prospective or retrospective motion correction, have been proposed to avoid or alleviate motion artefacts. Recently, several other methods based on deep learning approaches have been proposed to solve this problem. This work proposes to enhance the performance of existing deep learning models by the inclusion of additional information present as image priors. The proposed approach has shown promising results and will be further investigated for clinical validity.

研究动机与目标

• 解决MRI中运动伪影的问题，这是导致诊断失败和扫描重复的常见原因。
• 通过整合多对比度或相似切片数据等图像先验信息，改进基于深度学习的回顾性运动伪影校正方法。
• 评估先验信息是否能在标准深度学习基线之上进一步提升模型性能。
• 探究不同先验整合策略（多通道与双分支）对校正准确度的影响。

提出的方法

• 该方法使用IXI数据集中的T1、T2和PD加权MRI图像，通过修改后的TorchIO RandomMotion函数对T2图像施加模拟运动伪影。
• 测试了两种类型的先验：(1) 来自不同受试者的相同对比度的十个相似切片；(2) 来自同一受试者的不同对比度（T1、PD）图像，与T2图像进行共注册。
• 应用了两种网络整合策略：多通道输入（将受损图像和先验沿通道维度拼接）和双分支网络（分别为受损图像和先验设置独立分支，通过加法或1×1卷积拼接进行特征融合）。
• 采用改进的UNet和ResNet架构，双分支UNet仅在主干分支中保留跳跃连接，而双分支ResNet共享下采样模块但输入通道数不同。
• 在将最终潜在表示传递至上采样或残差块之前，对两个分支的输出进行融合，融合方式为逐元素相加或通道拼接后接1×1卷积。
• 通过SSIM评估性能，并对基线模型与先验增强变体进行视觉和定量比较。

实验结果

研究问题

• RQ1 图像先验的整合是否能提升基于深度学习的MRI回顾性运动伪影校正性能？
• RQ2 使用同一受试者中不同对比度的先验是否比使用来自不同受试者的相似切片先验能获得更好的运动校正效果？
• RQ3 不同的先验整合策略（多通道输入与双分支网络）如何影响运动伪影校正性能？
• RQ4 为何双分支UNet未能超越基线模型，而双分支ResNet却表现出一致的性能提升？
• RQ5 先验整合是否能保留可能在运动伪影扫描中被掩盖的临床相关病理特征？

主要发现

• 使用同一受试者中不同对比度的先验显著提升了UNet和ResNet模型在运动伪影校正中的性能，尤其在SSIM指标上表现突出。
• 双分支ResNet架构优于基线模型，在多通道和双分支配置中均表现出性能提升。
• 多通道UNet相比基线模型有显著改进，而双分支UNet未见提升，表明在缺乏辅助分支跳跃连接的情况下，特征融合存在局限性。
• 提供来自不同受试者的十个相似切片作为先验并未提升任何测试网络的性能，表明在此情境下受试者间相似性效用有限。
• 基于ResNet的双分支方法在所有测试配置中取得了最高的SSIM值，证明了在深层架构中结构化先验整合的有效性。
• 本研究发现，辅助分支中的跳跃连接对UNet-based先验整合至关重要，且需进一步研究以解决性能差距问题。