[논문 리뷰] JoJoNet: Joint-contrast and Joint-sampling-and-reconstruction Network for Multi-contrast MRI

Lin Zhao, Xiaohong Chen외 5명|arXiv (Cornell University)|2022. 10. 22.

Medical Imaging Techniques and Applications인용 수 7

한 줄 요약

JoJoNet는 반복적 재구성 네트워크와 가속 비율 학습 기능을 통해 상호 대trast 상관관계를 활용하여 k-space 샘플링, 다중 대비 MRI 재구성 및 후행 작업 성능을 종합적으로 최적화하는 엔드 투 엔드 딥 러닝 프레임워크를 제안한다. 뇌 및 무릎 다중 대비 MRI 데이터셋에서 단일 대비 기반 방법에 비해 향상된 이미지 품질과 후행 작업 정확도를 달성한다.

ABSTRACT

Multi-contrast Magnetic Resonance Imaging (MRI) generates multiple medical images with rich and complementary information for routine clinical use; however, it suffers from a long acquisition time. Recent works for accelerating MRI, mainly designed for single contrast, may not be optimal for multi-contrast scenario since the inherent correlations among the multi-contrast images are not exploited. In addition, independent reconstruction of each contrast usually does not translate to optimal performance of downstream tasks. Motivated by these aspects, in this paper we design an end-to-end framework for accelerating multi-contrast MRI which simultaneously optimizes the entire MR imaging workflow including sampling, reconstruction and downstream tasks to achieve the best overall outcomes. The proposed framework consists of a sampling mask generator for each image contrast and a reconstructor exploiting the inter-contrast correlations with a recurrent structure which enables the information sharing in a holistic way. The sampling mask generator and the reconstructor are trained jointly across the multiple image contrasts. The acceleration ratio of each image contrast is also learnable and can be driven by a downstream task performance. We validate our approach on a multi-contrast brain dataset and a multi-contrast knee dataset. Experiments show that (1) our framework consistently outperforms the baselines designed for single contrast on both datasets; (2) our newly designed recurrent reconstruction network effectively improves the reconstruction quality for multi-contrast images; (3) the learnable acceleration ratio improves the downstream task performance significantly. Overall, this work has potentials to open up new avenues for optimizing the entire multi-contrast MR imaging workflow.

연구 동기 및 목표

• 단일 대비 MRI 가속화 방법이 다중 대비 환경에서 상호 대비 상관관계를 충분히 활용하지 못하는 한계를 해결하기 위해.
• 통합 프레임워크 내에서 다중 대비에 걸쳐 k-space 샘플링, 이미지 재구성 및 후행 작업 성능을 공동으로 최적화하기 위해.
• 후행 작업 요구 사항에 따라 자동으로 샘플링 자원을 할당하는 대비별 가속 비율 학습을 가능하게 하기 위해.
• 재귀적 재구성 아키텍처를 통해 다중 대비 MR 이미지 간의 해부학적 및 시간적 상관관계를 활용하여 재구성 품질을 향상시키기 위해.
• 실제 다중 대비 MRI 데이터셋에서 이미지 재구성 및 후행 작업 모두에 대해 종합 대비 최적화의 효과를 입증하기 위해.

제안 방법

• JoJoNet는 대비별 샘플링 마스크 생성기와 공유된 재귀적 재구성 네트워크(HRU-Net)를 갖춘 이중 스트림 아키텍처를 사용하며, 이는 상호 대비 의존성을 모델링한다.
• 샘플링 마스크 생성기는 각 대비에 대해 비균일한 k-space 샘플링 패턴을 학습하며, 대비별로 다른 가속 비율을 부여할 수 있다.
• HRU-Net 블록은 재귀적 구조를 사용하여 반복적으로 재구성을 개선함으로써 대비 간 정보 공유를 가능하게 하고 정밀도를 향상시킨다.
• 전체 프레임워크는 재구성 손실과 후행 작업 손실(예: T2* 매핑 정확도)을 조합한 공동 손실을 사용하여 엔드 투 엔드로 훈련된다.
• 대비별 가속 비율은 미분 가능하며 훈련 중 최적화되어, 모델이 후행 작업 성능 향상을 위해 더 많은 데이터가 필요한 대비를 학습할 수 있다.
• 고정 및 가속 비율 학습을 모두 지원하며, 후자의 경우 작업 관련성에 따라 k-space 샘플링을 동적으로 할당한다.

실험 결과

연구 질문

• RQ1 다양한 MRI 대비에 걸쳐 샘플링, 재구성 및 후행 작업 성능을 종합 최적화하면 종합적인 영상 품질과 작업 정확도 향상이 이루어지는가?
• RQ2 다중 대비 MRI에서의 상호 대비 상관관계는 샘플링 및 재구성 전략 설계에 어떻게 영향을 미치는가?
• RQ3 대비별로 가속 비율을 학습할 경우 고정 비율 대비 다중 대비 MRI에서 더 나은 성능을 내는가, 특히 후행 작업에서?
• RQ4 대비 간 정보를 공유하는 재귀적 재구성 네트워크는 독립적 또는 비재귀적 설계에 비해 더 높은 이미지 품질을 제공하는가?
• RQ5 제안된 프레임워크는 다중 대비 데이터셋에서 단일 대비 MRI 가속화 방법에 비해 어떻게 비교되는가?

주요 결과

• JoJoNet는 뇌 및 무릎 다중 대비 MRI 데이터셋에서 단일 대비 기반 방법보다 우수한 성능을 보이며, 재구성에서 더 높은 PSNR와 SSIM을 달성한다.
• 뇌 데이터셋에서 JoJoNet는 가속 비율 학습을 통해 13.81 dB PSNR와 0.8123 SSIM을 달성했으며, 고정 2배 가속 비율 대비 9.99 dB와 0.6311로 성능이 떨어진다.
• 가속 비율 학습이 T2* 매핑 합성 정확도를 향상시켜 20.12 dB PSNR와 0.9263 SSIM을 달성했으며, 고정 2배 가속 비율 대비 18.67 dB와 0.8939로 성능이 떨어진다.
• JoJoNet가 학습한 샘플링 마스크는 고주파 k-space 영역에서 더 높은 밀도의 샘플링을 보이며, 상호 대비 정보를 더 효과적으로 활용하고 있음을 시사한다.
• HRU-Net 블록 수를 늘릴수록 재구성 품질이 향상되었으며, 세 개 블록에서 포화 상태에 도달하여 품질과 계산량 간 최적의 트레이드오프를 이룬다.
• 모델은 T2* 매핑에서 대비 1과 5에 더 높은 샘플링 비율을 할당하여, 지수 감쇠 모델 피팅에서 이들의 더 큰 중요성을 반영하고 있다.