[论文解读] Learning Multi-Site Harmonization of Magnetic Resonance Images Without Traveling Human Phantoms

Siyuan Liu, Pew‐Thian Yap|arXiv (Cornell University)|Sep 30, 2021

Advanced MRI Techniques and Applications参考文献 38被引用 5

一句话总结

该论文提出MURD，一种深度学习框架，通过将与站点无关的解剖结构内容与特定站点的图像风格解耦，实现在无需使用移动人体幻影的情况下对多中心MRI图像进行协调统一。利用循环一致的内容-风格解耦与共享站点生成器，MURD在不依赖多中心扫描配对监督的情况下，合成出逼真的站点特异性外观，同时保持了解剖结构的保真度，在超过6,000幅T1-和T2加权图像上实现了最先进性能。

ABSTRACT

Harmonization improves data consistency and is central to effective integration of diverse imaging data acquired across multiple sites. Recent deep learning techniques for harmonization are predominantly supervised in nature and hence require imaging data of the same human subjects to be acquired at multiple sites. Data collection as such requires the human subjects to travel across sites and is hence challenging, costly, and impractical, more so when sufficient sample size is needed for reliable network training. Here we show how harmonization can be achieved with a deep neural network that does not rely on traveling human phantom data. Our method disentangles site-specific appearance information and site-invariant anatomical information from images acquired at multiple sites and then employs the disentangled information to generate the image of each subject for any target site. We demonstrate with more than 6,000 multi-site T1- and T2-weighted images that our method is remarkably effective in generating images with realistic site-specific appearances without altering anatomical details. Our method allows retrospective harmonization of data in a wide range of existing modern large-scale imaging studies, conducted via different scanners and protocols, without additional data collection.

研究动机与目标

• 解决大规模神经影像学研究中因扫描仪和协议差异导致的跨站点MRI变异问题。
• 消除监督协调中对移动人体幻影的需求，后者在大规模数据集中成本高昂且不切实际。
• 实现在无需额外数据采集的前提下，对现有多中心MRI数据进行回顾性协调统一。
• 将解剖结构内容与特定站点的图像风格解耦，以实现在不同站点间准确且逼真的图像合成。
• 开发一种方法，在仅使用来自不同受试者的多中心图像的前提下，保留解剖细节的同时生成特定站点的外观。

提出的方法

• MURD采用共享站点的内容编码器，从输入图像中提取与扫描仪或站点无关的解剖结构内容特征。
• 特定站点的风格编码器从各站点的图像中提取风格特征，捕捉扫描仪特有的强度和对比度模式。
• 共享站点的生成器将来自一个站点的内容特征与目标站点的风格特征融合，生成具有逼真外观的协调统一图像。
• 特定站点的风格生成器学习从潜在代码中合成风格特征，从而实现在无需目标站点参考图像的情况下的风格迁移。
• 该框架使用循环一致性、身份和对抗性损失，以确保内容保留和逼真图像合成。
• 内容-风格解耦的循环翻译（CS-DCT）实现了站点之间的双向图像翻译，同时保持了解剖结构的保真度。

实验结果

研究问题

• RQ1 是否可以在不依赖跨站点相同受试者配对扫描的情况下实现多中心MRI协调统一？
• RQ2 是否可以仅使用来自不同受试者的多中心数据，通过深度生成模型将解剖结构内容与特定站点的图像风格解耦？
• RQ3 所提出的方法是否在生成逼真站点特异性外观的同时保留了解剖细节？
• RQ4 该方法是否能够实现在无需额外数据采集的前提下，对现有大规模MRI研究进行回顾性协调统一？
• RQ5 与现有监督和无监督协调技术相比，该方法的性能如何？

主要发现

• MURD成功生成了在多个扫描仪上具有逼真站点特异性外观的MRI图像，且完全无需使用任何移动人体幻影数据。
• 该方法在来自不同站点和协议的超过6,000幅T1-和T2加权MRI扫描上实现了最先进水平的协调统一性能。
• 协调统一后的图像在保留解剖细节的同时，准确再现了目标站点的强度和对比度特征。
• 该方法实现了对现有大规模神经影像学研究（如ABCD和ADNI）的回顾性协调统一，无需额外数据采集。
• 使用解耦的内容与风格表征显著提升了图像的真实感和一致性，优于基线方法。
• 该框架在不同图像对比度和扫描仪类型下表现出鲁棒性，验证了其泛化能力。