[논문 리뷰] All-in-One Deep Learning Framework for MR Image Reconstruction

Geunu Jeong, Hyeonsoo Kim외 3명|arXiv (Cornell University)|2024. 05. 06.

Medical Imaging Techniques and Applications인용 수 7

한 줄 요약

context-enhanced U-Net 모델 하나가 여러 k-공간 차원과 벤더에 걸쳐 MR 이미지를 재구성하여 tunable denoising, 다방향 초해상도, 다양한 프로토콜 및 가속 전략과의 넓은 호환성을 가능하게 한다.

ABSTRACT

We introduce a novel, all-in-one deep learning framework for MR image reconstruction, enabling a single model to enhance image quality across multiple aspects of k-space sampling and to be effective across a wide range of clinical and technical scenarios. This DICOM-based algorithm serves as the core of SwiftMR (AIRS Medical, Seoul, Korea), which is FDA-cleared, CE-certified, and commercially available. We first detail the comprehensive development process of the model, including data collection, training pair preparation, model architecture design, and DICOM inference. We then assess the model's capability to enhance image quality in a multi-dimensional manner, specifically across various aspects of k-space sampling. Subsequently, we evaluate several features of the multi-dimensional enhancement: the accuracy of tunable denoising, the effectiveness of super-resolution in each encoding direction, and the reduction of artifacts that become more prominent at lower spatial resolutions. Additionally, we assess its compatibility with various scan parameter sets and its generalizability across scanner vendors not seen during training. Finally, we present specific cases demonstrating the model's utility in reducing scan time across anatomical regions in conjunction with protocol optimization. The proposed model is compatible with a broad spectrum of scenarios, including various vendors, pulse sequences, scan parameters, and anatomical regions. Its DICOM-based operation particularly enhances its applicability for real-world applications. Given its demonstrated effectiveness and versatility, we expect its use to expand in the field of clinical MRI.

연구 동기 및 목표

• 다양한 k-공간 샘플링 차원과 임상 시나리오 전반에 걸친 고품질 MR 재구성의 필요성에 대한 동기도 제시하고 해결합니다.
• 다양한 열화 패턴과 재구성 단계를 адапt할 수 있는 하나의 모든-한(올인원) DICOM 기반 DL 프레임워크를 개발합니다.
• Context Enhanced U-Net (CE U-Net)을 제안하여 컨텍스트 데이터를 통합하고 tunable denoising 및 다차원 개선을 가능하게 합니다.
• 벤더, 펄스 시퀀스, 스캔 파라미터 및 보지 못한 데이터셋과의 광범위한 호환성을 입증하고, 잠재적 스캔 시간 감소를 포함합니다.

제안 방법

• 다중 차원(노이즈, k_max, 부분 퓨리에, 타원형 샘플링)으로 원시 k-공간 데이터를 저하시키고 재구성 단계를 시뮬레이션하여 다양한 입력-대상 쌍을 만듭니다.
• 표준화 모듈과 Intermediate 계층에 컨텍스트 데이터를 주입하는 Dynamic Modulation Pathway를 갖춘 CE U-Net 아키텍처를 사용합니다.
• 별도의 2D 및 3D 네트워크를 훈련합니다(3D는 슬라이스 방향 초해상을 가능하게 하는 일곱-슬라이스 스택을 사용합니다).
• k-공간 샘플링 파라미터와 명시적으로 파생된 노이즈 감소 계수를 포함한 컨텍스트 입력을 제공하여 tunable denoising을 가능하게 합니다.
• 네트워크 매개변수를 최적화하기 위해 L1 손실과 ADAM 옵티마이저 및 학습률 스케줄을 적용합니다.
• 표준화 태그를 추출하고 입력을 적절한 네트워크로 라우팅하여 DICOM 기반 추론을 수행합니다.

실험 결과

연구 질문

• RQ1 단일 DL 모델이 여러 k-공간 샘플링 차원과 재구성 단계에 걸쳐 MR 이미지 품질을 향상시킬 수 있는가?
• RQ2 컨텍스트 데이터를 통합하는 것이 MR 재구성에서 tunable denoising 및 다차원 향상에 어떤 영향을 미치는가?
• RQ3 모형이 보지 못한 벤더 및 서로 다른 스캔 파라미터 구성에 일반화되는가?
• RQ4 프로토콜 최적화와 함께 프레임워크가 실제 스캔 시간 감소에 기여할 수 있는가?

주요 결과

• 모델은 잡음 감소, 주파수에서의 k_max, 부분 위상 펜owitz, 위상 k_max, 슬라이스 k_max 등의 연속적 차원을 추가하여 다차원적 향상을 가능하게 한다.
• tunable denoising 인자는 측정된 노이즈를 감소시키되 평균 신호 레벨은 변화시키지 않는다.
• 모든 인코딩 방향에서의 엣지 선명도가 DLR과 함께 약 2.5배 개선되어 슬라이스 방향 초해상도 및 교차 방향 이득을 시사한다.
• 슬라이스 방향 초해상도와 함께 DLR은 트렁케이션 및 바깥볼록 편위와 같은 저해상도 아티팩트를 감소시킨다.
• 8개의 뇌 스캔에서 다양한 k-공간 샘플링 및 재구성 파라미터와 함께 프레임워크가 효과적으로 작동했고, 3개의 미지 벤더에서도 광범위한 호환성을 보인다.
• 표준 프로토콜과 가속 프로토콜 간의 다수 영역에서 DLR 적용 후 노이즈 감소 및 전반적 이미지 품질 개선이 관찰되어 스캔 시간 감소 가능성을 시사한다.