[논문 리뷰] DSFormer: A Dual-domain Self-supervised Transformer for Accelerated Multi-contrast MRI Reconstruction

Bo Zhou, Neel Dey외 5명|arXiv (Cornell University)|2022. 01. 26.

Medical Imaging Techniques and Applications인용 수 27

한 줄 요약

DSFormer는 심층 조건부 이중 도메인 자기지도 트랜스포머를 도입하여 가속화된 다중 대조 MRI 재구성을 구현하고, 깊은 조건화 및 이중 도메인 손실을 활용해 감독 학습 성능에 근접하거나 이를 능가한다.

ABSTRACT

Multi-contrast MRI (MC-MRI) captures multiple complementary imaging modalities to aid in radiological decision-making. Given the need for lowering the time cost of multiple acquisitions, current deep accelerated MRI reconstruction networks focus on exploiting the redundancy between multiple contrasts. However, existing works are largely supervised with paired data and/or prohibitively expensive fully-sampled MRI sequences. Further, reconstruction networks typically rely on convolutional architectures which are limited in their capacity to model long-range interactions and may lead to suboptimal recovery of fine anatomical detail. To these ends, we present a dual-domain self-supervised transformer (DSFormer) for accelerated MC-MRI reconstruction. DSFormer develops a deep conditional cascade transformer (DCCT) consisting of several cascaded Swin transformer reconstruction networks (SwinRN) trained under two deep conditioning strategies to enable MC-MRI information sharing. We further present a dual-domain (image and k-space) self-supervised learning strategy for DCCT to alleviate the costs of acquiring fully sampled training data. DSFormer generates high-fidelity reconstructions which experimentally outperform current fully-supervised baselines. Moreover, we find that DSFormer achieves nearly the same performance when trained either with full supervision or with our proposed dual-domain self-supervision.

연구 동기 및 목표

• 완전 샘플링된 짝 데이터에 대한 의존도를 줄이면서 가속화된 다중 대조 MRI(MC-MRI) 재구성을 동기화한다.
• MC-MRI 데이터에서 장거리 의존성을 모델링할 수 있는 트랜스포머 기반 재구성 백본을 개발한다.
• 완전 샘플링 타깃 없이 학습이 가능하도록 이미지 도메인 및 k-도메인 이중 도메인 자기지도(dual-domain self-supervision)를 도입한다.
• 대조 간 정보를 효율적으로 공유하기 위한 조건화 메커니즘을 제안한다.
• 자기지도 DSFormer가 완전 감독형 MC-MRI 기반선과 비교해 우수하거나 일치하는 성능을 보일 수 있음을 입증한다.

제안 방법

• SwinRN(Swin Transformer Reconstruction Networks)을 데이터 일관성 계층과 연결하는 깊은 조건부 캐스케이드 트랜스포머(DCCT)를 제안한다.
• 데이터-조건화: 참조 대조 정보를 주입하기 위한 k-공간 채움(KF) 및 채널별(CC) 조건화를 도입한다.
• 비국소 특성 추출과 재구성을 위한 Swin Transformer Block(SwinTB)과 Swin Transformer Layer(SwinTL)을 사용한다.
• 이미지 도메인 Appearance Consistency(AC) 손실과 k-공간 Partition Data Consistency(PDC) 손실을 활용한 이중 도메인 자기지도 학습으로 학습한다.
• AC 손실은 분할된 k-공간 입력으로부터의 재구성 간의 일치성을 이미지 도메인에서 보장한다.
• PDC 손실은 k-공간에서 해당 분할 간의 일치성을 보장한다.
• 종합 손실은 AC와 PDC를 균형 가중치와 함께 결합하여 학습을 유도한다.

Figure 1: An overview of the D ual-domain S elf-supervised Trans Former ( DSFormer ). The Deep Conditional Cascade Transformer (DCCT) is trained in a self-supervised fashion with randomly partitioned undersampled k-space data sets fed into DCCT in parallel. The partition data consistency loss ( $\ma

실험 결과

연구 질문

• RQ1 이중 도메인 자기지도 프레임워크가 완전 샘플링 타깃 데이터 없이도 고충실도 MC-MRI 재구성을 회복할 수 있는가?
• RQ2 MC-MRI 조건화(KF 및 CC)를 도입하면 단일 대조 baselines에 비해 재구성 품질이 향상되는가?
• RQ3 DSFormer가 다양한 가속 비율 하에서 완전 감독 MC-MRI 방법에 비해 어떤 성능을 보이는가?
• RQ4 계 cascaded SwinRN 블록의 수가 재구성 품질에 어떤 영향을 미치는가?

주요 결과

• DSFormer는 다수의 가속 비율에서 완전 감독형 MC-MRI 기반선에 비해 PSNR/SSIM에서 최첨단 혹은 우월한 성능을 달성한다.
• 타깃이 T2이고 기준이 PD인 경우, 자기지도 모드에서 x2 가속 시 PSNR 최대 45.05 dB 및 SSIM 최대 0.993에 도달한다.
• T2 타깃의 x4 가속에서 DSFormer는 40.31 dB PSNR 및 0.985 SSIM(자기지도)을 달성하며 MCNet 및 다른 기반선보다 우수하다.
• T2 타깃의 x6 가속에서 DSFormer는 37.04 dB PSNR 및 0.977 SSIM(자기지도)을 달성하며 여전히 이전의 감독 방법을 능가한다.
• MC-MRI 시나리오 전반에서 자기지도 학습으로 학습된 DSFormer는 완전 감독 학습의 성능에 가깝게 근접하며, 핵심 경우에서 PSNR이 약 0.03–0.1 dB 차이로 차이난다.
• 적분해보면 KF와 CC 조건화를 모두 사용하는 것이 최상의 결과를 낳으며, 단독 또는 어느 쪽도 없이 사용했을 때보다 큰 이점을 제공한다.

Figure 2: K-space filling (KF) conditioning for $\times 4$ accelerated T2w reconstruction. Undersampled T2w data is combined with fully sampled PD data via KF to generate an initial DCCT input generating much fewer artifacts as compared to zero-padding.