[논문 리뷰] One for Multiple: Physics-informed Synthetic Data Boosts Generalizable Deep Learning for Fast MRI Reconstruction

Zi Wang, Xiaotong Yu외 26명|arXiv (Cornell University)|2023. 07. 25.

Nuclear Physics and Applications인용 수 6

한 줄 요약

이 논문은 다양한 빠른 MRI 재구성 시나리오에 걸쳐 일반화할 수 있는 단일 딥러닝 모델을 가능하게 하는 물리 기반 합성 데이터 프레임워크인 PISF를 제안한다. 2D MRI 재구성 문제를 학습 가능한 1D 문제로 분해하고 물리적 제약 조건을 갖춘 합성 k-space 데이터를 생성함으로써, PISF는 실제 데이터로 훈련된 모델 수준의 생체 내 재구성 품질을 달성하면서도 실제 데이터 의존도를 최대 96% 감소시킨다.

ABSTRACT

Magnetic resonance imaging (MRI) is a widely used radiological modality renowned for its radiation-free, comprehensive insights into the human body, facilitating medical diagnoses. However, the drawback of prolonged scan times hinders its accessibility. The k-space undersampling offers a solution, yet the resultant artifacts necessitate meticulous removal during image reconstruction. Although Deep Learning (DL) has proven effective for fast MRI image reconstruction, its broader applicability across various imaging scenarios has been constrained. Challenges include the high cost and privacy restrictions associated with acquiring large-scale, diverse training data, coupled with the inherent difficulty of addressing mismatches between training and target data in existing DL methodologies. Here, we present a novel Physics-Informed Synthetic data learning framework for Fast MRI, called PISF. PISF marks a breakthrough by enabling generalized DL for multi-scenario MRI reconstruction through a single trained model. Our approach separates the reconstruction of a 2D image into many 1D basic problems, commencing with 1D data synthesis to facilitate generalization. We demonstrate that training DL models on synthetic data, coupled with enhanced learning techniques, yields in vivo MRI reconstructions comparable to or surpassing those of models trained on matched realistic datasets, reducing the reliance on real-world MRI data by up to 96%. Additionally, PISF exhibits remarkable generalizability across multiple vendors and imaging centers. Its adaptability to diverse patient populations has been validated through evaluations by ten experienced medical professionals. PISF presents a feasible and cost-effective way to significantly boost the widespread adoption of DL in various fast MRI applications.

연구 동기 및 목표

• 훈련 데이터와 실제 데이터 간 도메인 스플릿으로 인한 딥러닝 모델의 일반화 능력 제한 문제 해결.
• 다양한 스캐너와 환자 집단을 대상으로 한 대규모이고 다양한 실제 MRI 데이터셋을 확보하는 데 드는 높은 비용과 개인정보 보호 장벽 극복.
• 여러 제조사, 영상 센터, 환자 인구 통계에 걸쳐 일반화 가능한 단일 통합 딥러닝 모델 개발.
• 합성 데이터 증강을 통해 실제 MRI 데이터 의존도를 최소화하면서도 재구성 품질을 유지하거나 향상시키기.
• 데이터 확보의 한계를 줄이고 모델의 강건성을 향상시켜 딥러닝의 빠른 MRI 적용 실현 가능하게 하기.

제안 방법

• 2D MRI 재구성을 학습 가능한 다수의 1D 재구성 문제로 분해하여 학습을 단순화하고 일반화 능력을 향상시키기.
• 푸리에 인코딩, 저수신 패턴 등 MRI 촬영 모델의 기본 원리를 유지하는 물리 기반 시뮬레이션을 사용해 합성 k-space 데이터 생성.
• 합성 데이터 생성 과정에 물리적 제약 조건을 통합하여 합성 데이터가 실제 MRI 신호 행동과 k-space 특성을 반영하도록 보장.
• 자기지도 학습 또는 적대적 훈련과 같은 향상된 학습 기법을 사용해 합성 1D 데이터로 딥러닝 모델 훈련.
• 도메인 적응 및 데이터 증강 전략을 적용하여 합성 데이터 분포를 실제 세계 데이터 분포와 더욱 유사하게 맞추기.
• 생체 내 인간 스캔을 사용해 다수의 MRI 제조사 및 영상 센터에서 모델의 일반화 능력 검증.

실험 결과

연구 질문

• RQ1 물리 기반 합성 데이터로만 훈련된 단일 딥러닝 모델이 실제 MRI 데이터로 훈련된 모델과 동일한 재구성 성능을 달성할 수 있는가?
• RQ2 합성 데이터 생성이 빠른 MRI 재구성에서 실제 레이블이 붙은 MRI 데이터셋에 대한 의존도를 어느 정도 감소시키는가?
• RQ3 합성 데이터로 훈련된 모델이 다양한 MRI 스캐너, 촬영 프로토콜, 환자 집단 간에 얼마나 잘 일반화되는가?
• RQ4 물리 기반 제약 조건이 합성 MRI 데이터의 정확성과 일반화 능력을 향상시키는 데 어떤 역할을 하는가?
• RQ5 제안된 프레임워크는 데이터 확보 비용과 개인정보 위험을 크게 줄이면서도 높은 재구성 정확도를 유지할 수 있는가?

주요 결과

• PISF 프레임워크는 실제 데이터의 4%만을 사용해도 실제 데이터로 훈련된 모델 수준의 생체 내 MRI 재구성 품질을 달성하거나 이를 초월한다.
• 이 방법은 실제 MRI 데이터 의존도를 최대 96% 감소시켜 데이터 확보 비용과 개인정보 위험을 크게 낮춘다.
• 모델은 여러 MRI 제조사 및 영상 센터 간에 효과적으로 일반화되어 도메인 스플릿에 대한 강건성을 보여준다.
• 10명의 숙련된 방사선의사가 수행한 평가 결과, PISF로 재구성된 영상은 임상적 타당성과 진단 품질을 확보했다.
• 1D 분해 전략은 복잡한 k-space 패턴을 학습하는 데 있어 모델의 일반화 능력을 향상시킨다.
• 물리 기반 합성 데이터 생성은 더 현실적이며 분포가 유사한 훈련 데이터를 제공하여 실제 데이터 없이도 모델의 일반화 능력을 향상시킨다.