[论文解读] DSFormer: A Dual-domain Self-supervised Transformer for Accelerated Multi-contrast MRI Reconstruction

Bo Zhou, Neel Dey+5 more|arXiv (Cornell University)|Jan 26, 2022

Medical Imaging Techniques and Applications被引用 27

一句话总结

DSFormer 引入一种双域自监督 transformer，用于加速多对比度 MRI 重建，利用深层条件化和双域损失以达到受监督性能的匹配。

ABSTRACT

Multi-contrast MRI (MC-MRI) captures multiple complementary imaging modalities to aid in radiological decision-making. Given the need for lowering the time cost of multiple acquisitions, current deep accelerated MRI reconstruction networks focus on exploiting the redundancy between multiple contrasts. However, existing works are largely supervised with paired data and/or prohibitively expensive fully-sampled MRI sequences. Further, reconstruction networks typically rely on convolutional architectures which are limited in their capacity to model long-range interactions and may lead to suboptimal recovery of fine anatomical detail. To these ends, we present a dual-domain self-supervised transformer (DSFormer) for accelerated MC-MRI reconstruction. DSFormer develops a deep conditional cascade transformer (DCCT) consisting of several cascaded Swin transformer reconstruction networks (SwinRN) trained under two deep conditioning strategies to enable MC-MRI information sharing. We further present a dual-domain (image and k-space) self-supervised learning strategy for DCCT to alleviate the costs of acquiring fully sampled training data. DSFormer generates high-fidelity reconstructions which experimentally outperform current fully-supervised baselines. Moreover, we find that DSFormer achieves nearly the same performance when trained either with full supervision or with our proposed dual-domain self-supervision.

研究动机与目标

• 促使在尽量减少对完全采样配对数据的依赖下进行加速的多对比度 MRI (MC-MRI) 重建。
• 开发一个基于 transformer 的重建骨干，能够建模 MC-MRI 数据中的远距离依赖。
• 引入双域自监督（图像域和 k-space）以在没有完全采样目标的情况下进行训练。
• 提出条件化机制以在对比之间高效共享信息。
• 证明自监督的 DSFormer 能超越或达到完全监督的 MC-MRI 基线。

提出的方法

• 提出一个深度条件级联 transformer（DCCT），将 Swin Transformer Reconstruction Networks（SwinRN）与数据一致性层级联。
• 引入深度 MC-MRI 条件化：K-space Filling (KF) 与 Channel-wise (CC) 条件来注入参考对比信息。
• 使用带有 Swin Transformer Layer（SwinTL）的 Swin Transformer Block（SwinTB）进行非局部特征提取与重建。
• 使用双域自监督训练：图像域 Appearance Consistency (AC) 损失和 k-space Partition Data Consistency (PDC) 损失。
• AC 损失在图像域强制来自分区 k-space 输入的重建的一致性。
• PDC 损失在 k-space 的相应分区之间强制一致性。
• 整体损失将 AC 与 PDC 结合并使用平衡权重来引导学习。

Figure 1: An overview of the D ual-domain S elf-supervised Trans Former ( DSFormer ). The Deep Conditional Cascade Transformer (DCCT) is trained in a self-supervised fashion with randomly partitioned undersampled k-space data sets fed into DCCT in parallel. The partition data consistency loss ( $\ma

实验结果

研究问题

• RQ1 在没有完全采样目标数据的情况下，双域自监督框架是否能恢复高保真度的 MC-MRI 重建？
• RQ2 将 MC-MRI 条件（KF 与 CC）引入是否比单一对比基线提高重建质量？
• RQ3 在多种加速因子下，DSFormer 相对于完全监督的 MC-MRI 方法的表现如何？
• RQ4 被级联的 SwinRN 块数量对重建质量的影响是什么？

主要发现

• DSFormer 在多个加速因子下，相比完全监督的 MC-MRI 基线，在 PSNR/SSIM 上达到最先进或更优。
• 在 T2 目标、PD 参考下，在自监督模式的 x2 加速下，DSFormer 的 PSNR 高达 45.05 dB，SSIM 高达 0.993。
• 在 T2 目标的 x4 加速，DSFormer 获得 40.31 dB PSNR 和 0.985 SSIM（自监督），超越 MCNet 和其他基线。
• 在 T2 目标的 x6 加速，DSFormer 实现 37.04 dB PSNR 和 0.977 SSIM（自监督），仍然优于之前的监督方法。
• 在 MC-MRI 场景中，使用自监督训练的 DSFormer 在性能上接近完全监督训练，在关键情形下 PSNR 仅相差约 0.03–0.1 dB。
• 消融研究显示同时使用 KF 与 CC 条件化可获得最佳结果，相较单独使用任一或都不使用有显著提升。

Figure 2: K-space filling (KF) conditioning for $\times 4$ accelerated T2w reconstruction. Undersampled T2w data is combined with fully sampled PD data via KF to generate an initial DCCT input generating much fewer artifacts as compared to zero-padding.