[논문 리뷰] Complementary Time-Frequency Domain Networks for Dynamic Parallel MR Image Reconstruction

Chen Qin, Jinming Duan외 8명|arXiv (Cornell University)|2020. 12. 22.

Advanced MRI Techniques and Applications참고 문헌 43인용 수 6

한 줄 요약

이 논문은 보조 시간-주파수(x-f) 도메인과 시공간 영상(x-t) 도메인에서의 공간-시간 중복성을 활용하여 고도로 미리 샘플링된 동적 병렬 MRI를 동시로 재구성하는 딥러닝 프레임워크인 CTFNet을 제안한다. 반복적 변수분할 알고리즘을 순환 신경망에 통합하여, 최신 기술 수준의 영상 품질과 재구성 속도를 달성하여, 16× 및 24× 가속도에서 단일 숨 참고 2D 심장 시네 영상 촬영을 2.8초 내에 수행할 수 있다.

ABSTRACT

Purpose: To introduce a novel deep learning based approach for fast and high-quality dynamic multi-coil MR reconstruction by learning a complementary time-frequency domain network that exploits spatio-temporal correlations simultaneously from complementary domains. Theory and Methods: Dynamic parallel MR image reconstruction is formulated as a multi-variable minimisation problem, where the data is regularised in combined temporal Fourier and spatial (x-f) domain as well as in spatio-temporal image (x-t) domain. An iterative algorithm based on variable splitting technique is derived, which alternates among signal de-aliasing steps in x-f and x-t spaces, a closed-form point-wise data consistency step and a weighted coupling step. The iterative model is embedded into a deep recurrent neural network which learns to recover the image via exploiting spatio-temporal redundancies in complementary domains. Results: Experiments were performed on two datasets of highly undersampled multi-coil short-axis cardiac cine MRI scans. Results demonstrate that our proposed method outperforms the current state-of-the-art approaches both quantitatively and qualitatively. The proposed model can also generalise well to data acquired from a different scanner and data with pathologies that were not seen in the training set. Conclusion: The work shows the benefit of reconstructing dynamic parallel MRI in complementary time-frequency domains with deep neural networks. The method can effectively and robustly reconstruct high-quality images from highly undersampled dynamic multi-coil data ($16 imes$ and $24 imes$ yielding 15s and 10s scan times respectively) with fast reconstruction speed (2.8s). This could potentially facilitate achieving fast single-breath-hold clinical 2D cardiac cine imaging.

연구 동기 및 목표

• 고도로 미리 샘플링된 k-공간 데이터를 가진 동적 병렬 MRI에서 빠르고 고품질의 재구성 문제를 해결하기 위해.
• 기존 압축 감지 기법의 한계, 즉 느린 수렴 속도와 하이퍼파rameter 조정에 대한 민감성 문제를 극복하기 위해.
• 공보도메인인 공간-시간 주파수(x-f) 도메인과 시공간 영상(x-t) 도메인 간의 보완적 정보를 융합하여 공간-시간 중복성을 보다 효과적으로 활용하기 위해.
• 학습 데이터에 포함되지 않은 스캐너 프로토콜과 병변 유형에 대해서도 잘 일반화되는 딥러닝 모델을 개발하기 위해.
• 고가속도로 빠른 재구성 속도를 확보하여 임상적으로 실현 가능한 단일 숨 참고 2D 심장 시네 영상 촬영을 가능하게 하기 위해.

제안 방법

• 동적 MRI 재구성을 x-f(공간-시간 푸리에) 도메인과 x-t(시공간 영상) 도메인에서 정규화된 다변수 최소화 문제로 공식화한다.
• 변수 분할과 교대 최소화 기반의 반복 알고리즘을 유도하며, x-f 및 x-t 공간에서의 앨리어싱 제거 단계, 폐쇄형 해 데이터 일致성 단계, 가중치 부여된 연결 단계를 번갈아 수행한다.
• 반복 최적화 과정을 딥 레커런트 신경망(RNN)에 통합하여 재구성 과정의 엔드 투 엔드 학습을 가능하게 한다.
• 시간에 걸쳐 주파수 도메인과 영상 도메인에서 동시에 데이터를 처리함으로써 보완적인 시공간 상관관계를 효과적으로 학습한다.
• 가중치 부여된 연결 메커니즘이 두 도메인 간의 일관된 업데이트를 보장하여 재구성 정밀도를 향상시킨다.
• 다중 코ils 심장 시네 영상 데이터를 고도로 미리 샘플링된 상태에서 엔드 투 엔드로 훈련하며, 임상적 사용을 고려한 재구성 속도 최적화를 수행한다.

실험 결과

연구 질문

• RQ1 보완적인 시간-주파수 도메인과 시공간 도메인에서의 동시 학습이 고가속도 동적 MRI 재구성 품질을 향상시킬 수 있는가?
• RQ2 제안된 CTFNet 모델은 상태 기술 수준의 압축 감지 및 딥러닝 기법과 비교해 영상 품질과 재구성 속도 측면에서 어떻게 성능을 내는가?
• RQ3 학습 데이터에 포함되지 않은 다양한 스캐너와 병변이 존재하는 데이터에 대해 모델이 얼마나 잘 일반화되는가?
• RQ4 이 방법을 통해 16× 및 24× 가속도에서 임상적으로 실현 가능한 단일 숨 참고 2D 심장 시네 영상 촬영이 가능한가?
• RQ5 실제 임상 환경에서의 운동 및 데이터 비일관성에 대해 모델은 얼마나 강건한가?

주요 결과

• CTFNet는 정량적 지표(예: PSNR, SSIM)와 정성적 시각 평가 모두에서 최신 기술 수준의 압축 감지 및 딥러닝 기법을 능가한다.
• 16× 및 24× 가속도에서 고품질의 재구성을 달성하여 각각 촬영 시간이 15초 및 10초인 단일 숨 참고 심장 시네 영상 촬영을 가능하게 한다.
• 재구성 시간은 단 2.8초에 불과하여 기존 반복적 방법보다 크게 빠르다.
• 다른 스캐너에서의 데이터 및 훈련 데이터에 포함되지 않은 병변 유형에 대해서도 잘 일반화된다.
• 재구성 영상에서 심실 기능 평가 결과 기준값과 비교해 허용 가능한 편향과 분산을 보이며 임상적 실현 가능성을 입증한다.
• 운동 및 데이터 비일관성에 대해 강건성을 보이며, 분할 기반 평가에서 오차 누적가 최소화된다.