[論文レビュー] DSFormer: A Dual-domain Self-supervised Transformer for Accelerated Multi-contrast MRI Reconstruction

Bo Zhou, Neel Dey+5 more|arXiv (Cornell University)|Jan 26, 2022

Medical Imaging Techniques and Applications被引用数 27

ひとこと要約

DSFormerは、加速された多コントラストMRI再構成のためのデュアルドメイン自己教師付きトランスフォーマを導入し、深い条件付けとデュアルドメイン損失を用いて教師ありの性能に一致するまたはそれを上回ることを目指します。

ABSTRACT

Multi-contrast MRI (MC-MRI) captures multiple complementary imaging modalities to aid in radiological decision-making. Given the need for lowering the time cost of multiple acquisitions, current deep accelerated MRI reconstruction networks focus on exploiting the redundancy between multiple contrasts. However, existing works are largely supervised with paired data and/or prohibitively expensive fully-sampled MRI sequences. Further, reconstruction networks typically rely on convolutional architectures which are limited in their capacity to model long-range interactions and may lead to suboptimal recovery of fine anatomical detail. To these ends, we present a dual-domain self-supervised transformer (DSFormer) for accelerated MC-MRI reconstruction. DSFormer develops a deep conditional cascade transformer (DCCT) consisting of several cascaded Swin transformer reconstruction networks (SwinRN) trained under two deep conditioning strategies to enable MC-MRI information sharing. We further present a dual-domain (image and k-space) self-supervised learning strategy for DCCT to alleviate the costs of acquiring fully sampled training data. DSFormer generates high-fidelity reconstructions which experimentally outperform current fully-supervised baselines. Moreover, we find that DSFormer achieves nearly the same performance when trained either with full supervision or with our proposed dual-domain self-supervision.

研究の動機と目的

• 加速された多コントラストMRI (MC-MRI) 再構成を、完全に対応データに対する依存を減らして動機づける。
• MC-MRIデータにおける長距離依存性をモデリングできるトランスフォーマーを再構成の基盤として開発する。
• 完全に対応する targets を用いず学習を可能にするデュアルドメイン自己教師付け（画像とk-空間）を導入する。
• コントラスト間で情報を効率的に共有する conditioning メカニズムを提案する。
• 自己教師付きのDSFormerが、完全に教師ありのMC-MRIベースラインを超えるか同等であることを示す。

提案手法

• Swin Transformer Reconstruction Networks (SwinRN)をデータ整合性レイヤでカスケードする、深い条件付きカスケードトランスフォーマー（DCCT）を提案する。
• Deep MC-MRI conditioningを導入：K-space Filling (KF) と Channel-wise (CC) conditioningを用いて参照コントラスト情報を注入する。
• 非局所特徴抽出と再構成のためにSwin Transformer Block (SwinTB)とSwin Transformer Layers (SwinTL)を用いる。
• dual-domain self-supervisionで訓練する：画像領域のAppearance Consistency (AC) lossとk-spaceのPartition Data Consistency (PDC) loss。
• AC lossは、画像領域で分割されたk-space入力からの再構成間の整合性を強制する。
• PDC lossは、対応する分割間のk-spaceでの整合性を強制する。
• 全体の損失はACとPDCをバランス重みとともに組み合わせ、学習を指導する。

Figure 1: An overview of the D ual-domain S elf-supervised Trans Former ( DSFormer ). The Deep Conditional Cascade Transformer (DCCT) is trained in a self-supervised fashion with randomly partitioned undersampled k-space data sets fed into DCCT in parallel. The partition data consistency loss ( $\ma

実験結果

リサーチクエスチョン

• RQ1 デュアルドメイン自己教師付きフレームワークは、完全にサンプルされたターゲットデータなしで高忠実度のMC-MRI再構成を回復できるか。
• RQ2 MC-MRI conditioning（KFとCC）を取り入れることは、単一コントラストのベースラインより再構成品質を改善するか。
• RQ3 DSFormerは、さまざまな加速因子下で完全に教師ありのMC-MRI法と比較してどのように性能を発揮するか。
• RQ4 カスケードされたSwinRNブロックの数は再構成品質にどのような影響を与えるか。

主な発見

• DSFormerは、複数の加速因子に跨って、完全に教師ありのMC-MRIベースラインと比較してPSNR/SSIMで最先端または優れた性能を達成する。
• PDリファレンスを用いたT2ターゲットで、自己教師ありモードのx2加速に対してPSNRが最大45.05 dB、SSIMが最大0.993に達する。
• T2ターゲットのx4加速では、DSFormerは自己教師ありで40.31 dBのPSNRと0.985のSSIMを達成し、MCNetやその他のベースラインを上回る。
• T2ターゲットのx6加速では、DSFormerは自己教師ありで37.04 dBのPSNRと0.977のSSIMを達成し、従来の監視付き法を依然として上回る。
• MC-MRIシナリオ全体で、自己教師ありで訓練されたDSFormerは完全に教師ありの訓練とほぼ同等の性能に近づき、重要なケースでPSNRが約0.03–0.1 dB程度しか差がない。
• アブレーションでは、KFとCCの両方の conditioningを使用するのが最良の結果を生み、単独使用またはいずれも使用しない場合より顕著な利得が見られる。

Figure 2: K-space filling (KF) conditioning for $\times 4$ accelerated T2w reconstruction. Undersampled T2w data is combined with fully sampled PD data via KF to generate an initial DCCT input generating much fewer artifacts as compared to zero-padding.