[논문 리뷰] DuDoRNet: Learning a Dual-Domain Recurrent Network for Fast MRI Reconstruction with Deep T1 Prior

Bo Zhou, S. Kevin Zhou|arXiv (Cornell University)|2020. 01. 11.

Advanced MRI Techniques and Applications참고 문헌 35인용 수 16

한 줄 요약

DuDoRNet는 깊이 있는 T1 가중 이미지 사전을 활용하여 과도하게 샘플링된 k-space와 이미지 데이터를 동시에 재구성하는 이중 도메인 순환 신경망을 제안한다. 확장된 잔차 밀집 네트워크와 순환 개선, T1 사전 가이던스를 통합함으로써 다양한 가속률과 샘플링 패턴에서 최신 기술 수준의 재구성 품질을 달성하며, 나선형 궤적에서 일관되게 SSIM이 0.99를 초과한다.

ABSTRACT

MRI with multiple protocols is commonly used for diagnosis, but it suffers from a long acquisition time, which yields the image quality vulnerable to say motion artifacts. To accelerate, various methods have been proposed to reconstruct full images from under-sampled k-space data. However, these algorithms are inadequate for two main reasons. Firstly, aliasing artifacts generated in the image domain are structural and non-local, so that sole image domain restoration is insufficient. Secondly, though MRI comprises multiple protocols during one exam, almost all previous studies only employ the reconstruction of an individual protocol using a highly distorted undersampled image as input, leaving the use of fully-sampled short protocol (say T1) as complementary information highly underexplored. In this work, we address the above two limitations by proposing a Dual Domain Recurrent Network (DuDoRNet) with deep T1 prior embedded to simultaneously recover k-space and images for accelerating the acquisition of MRI with a long imaging protocol. Specifically, a Dilated Residual Dense Network (DRDNet) is customized for dual domain restorations from undersampled MRI data. Extensive experiments on different sampling patterns and acceleration rates demonstrate that our method consistently outperforms state-of-the-art methods, and can reconstruct high-quality MRI.

연구 동기 및 목표

• 기존의 단일 도메인에서만 작동하는 딥 러닝 방법들이 과도하게 샘플링된 MRI에서 비국소적이고 구조적인 앨리어징 아티팩트를 처리하지 못하는 한계를 해결하기 위해.
• 장시간 촬영 프로토콜에서 재구성 품질을 향상시키기 위해 완전히 샘플링된 T1 가중 이미지를 보완적인 사전으로 활용하기 위해.
• 이중 도메인에서 번갈아가며 k-space와 이미지 재구성을 개선하는 특징 학습과 일관성을 향상시킬 수 있는 순환적이고 이중 도메인 프레임워크를 개발하기 위해.
• 다양한 샘플링 패턴(직선형, 레이디얼, 나선형)과 고가속률에서 안정적이고 고정밀한 MRI 재구성 달성하기 위해.

제안 방법

• 장거리 상관관계를 포착하고 두 도메인(k-space 및 이미지)에서 특징 표현을 향상시키기 위해 확장된 잔차 밀집 네트워크(DRDNet)를 설계하였다.
• 이중 도메인 재구성의 반복적 개선을 가능하게 하기 위해 다섯 개의 순환 블록(N_rec = 5)을 포함한 순환 아키텍처를 채택하였다.
• 각 순환 블록에는 이미지 도메인과 k-space 도메인 각각에 하나씩의 데이터 일관성(DC) 레이어를 포함하여 두 도메인 간의 일관성을 확보하였다.
• 각 순환 블록에 깊이 있는 T1 사전를 통합하여 완전히 샘플링된 T1 가중 이미지에서 유도된 해부학적 사전 지식을 제공함으로써 복원 과정을 안내하였다.
• 쌍체의 과도하게 샘플링된 k-space 데이터와 완전히 샘플링된 이미지 데이터를 사용하여 엔드 투 엔드로 모델을 훈련하였으며, 구조적 유사성과 시각적 품질 최적화를 위한 손실 함수를 적용하였다.
• 다양한 샘플링 패턴을 지원하며, R = 2에서 R = 6까지 다양한 가속률에서 평가하여 강인성과 일반화 능력을 입증하였다.

Figure 1 : The architecture of our proposed Du al Do main R ecurrent Net work ( DuDoRNet ). DC denotes the data consistency layer. Each recurrent block contains one network for image domain restoration and one network for k-space domain restoration with two interleaved DC.

실험 결과

연구 질문

• RQ1 단일 도메인 방법에 비해 이중 도메인 순환 네트워크가 과도하게 샘플링된 MRI 재구성에서 구조적 앨리어징 아티팩트를 효과적으로 줄일 수 있는가?
• RQ2 완전히 샘플링된 T1 가중 이미지를 사전으로 통합함으로써 고속 MRI 재구성의 품질과 안정성은 어떻게 향상되는가?
• RQ3 여러 반복 단계를 거친 순환적 개선이 k-space 및 이미지 도메인 양쪽에서 재구성 정밀도를 얼마나 향상시키는가?
• RQ4 고가속률에서 다양한 k-space 샘플링 패턴(직선형, 레이디얼, 나선형)에 대해 DuDoRNet의 성능은 어떻게 변화하는가?
• RQ5 개별 구성 요소인 순환 학습, 이중 도메인 학습, 확장된 잔차 밀집 블록이 총 재구성 성능에 기여하는 정도는 어떠한가?

주요 결과

• 나선형 샘플링 패턴에서 DuDoRNet는 R=2에서 R=6까지 모든 가속률에서 구조적 유사도 지수(SSIM)가 0.99를 초과하여 뛰어난 안정성을 보였다.
• R=6에서 나선형 패턴에서 SSIM은 0.991, 레이디얼 패턴에서 0.989를 기록하여 모든 기준 모델을 압도적으로 능가하였다.
• 직선형 패턴에서도 R=6에서 SSIM이 0.95를 유지하였으며, 다음으로 우수한 방법보다 0.05 향상된 성능을 보였다.
• 제거 실험 결과, 순환 학습, 이중 도메인 개선, 확장된 잔차 밀집 블록의 조합이 가장 높은 성능 향상을 이끌었으며, 기준 모델 대비 평균 SSIM이 0.057 증가하였다.
• T1 사전의 통합은 특히 미세한 해부학적 구조를 유지하고 구조적 손실을 줄이는 데 있어 일관되게 재구성 품질을 향상시켰다.
• 순환 블록 수를 늘릴수록 성능이 단조롭게 향상되었으며, N_rec = 3 이후에는 수익 감소 현상이 나타나 수렴함을 확인하였다.

Figure 2 : The architecture of our D ilated R esidual D ense Network ( DRD-Net ) with building modules of SDRDB shown in Figure 3 . The input can be either $x_{u}$ in image domain or $k_{u}$ in k-space domain. Convolution operation is followed by ReLU.